01Що це таке і як це працює
Google призначає кожному домену бюджет на основі двох сигналів: ліміту швидкості сканування (як швидко сервер може відповідати без помилок) та попиту на сканування (як часто контент, ймовірно, змінюється або потрібен користувачам). Сканер дотримується ліміту швидкості, щоб уникнути перевантаження хостингу, а потім витрачає решту бюджету на сторінки, які видаються цінними, наприклад, на сторінки з високою внутрішньою вартістю посилань або нещодавніми оновленнями. Процес триває безперервно, але бюджет може зменшитися, якщо сайт видає багато помилок 5xx або відповідає повільно.
Crawl budget = скільки сторінок Google скануватиме на вашому сайті та як часто.
02Що з цим робити
Почніть із очищення малоцінних URL: видаліть дубльовані параметри, заблокуйте малозмістовні сторінки за допомогою noindex та об'єднайте пагінацію. Далі покращуйте швидкість сервера, щоб можна було збільшити ліміт запитів — використовуйте CDN, увімкніть стиснення та виправте повільні запити до бази даних. Нарешті, вкажіть на важливість сторінок за допомогою внутрішньої перелінковки: розміщуйте нові або популярні сторінки на початку навігації та використовуйте «хлібні крихти». Ці кроки можна виконати протягом тижня, і вони дадуть Google чіткіші сигнали про те, куди витрачати його Crawl Budget.
03Як це вимірюється або помічається
Звіт Crawl Stats у Google Search Console показує загальну кількість запитів, середній час відповіді та поточний ліміт швидкості сканування. Раптове падіння кількості «Crawl requests» або зростання «Server errors (5xx)» часто свідчить про скорочення бюджету. Серверні логи також показують кількість звернень Googlebot на день; порівняйте це з кількістю URL, які мають бути проскановані. Якщо ви бачите багато URL, які ніколи не запитувалися, вони, ймовірно, виходять за межі поточного бюджету.
04Поширені помилки
- Блокування великих розділів сайту через
robots.txtпри очікуванні, що Google їх просканує. - Наявність тисяч параметрів session-id у URL, що створює нескінченну кількість малоцінних сторінок.
- Спроби збільшити бюджет лише за рахунок розміру sitemap без покращення продуктивності сервера.
05Обмеження та плутанина
Crawl budget стосується лише великих або часто оновлюваних сайтів; маленьким блогам зазвичай вистачає бюджету за замовчуванням. Це не те саме, що індексаційний бюджет — Google може просканувати сторінку, але вирішити не індексувати її, якщо вважатиме контент низькоякісним. Плутанина між Crawl budget та факторами ранжування може призвести до марнування зусиль; бюджет не впливає безпосередньо на позицію в SERP, він лише визначає, як швидко новий або оновлений контент може бути побачений краулером.
06Розглянутий приклад
«Після того як ми видалили 30 % дубльованих URL-адрес товарів і скоротили середній час завантаження сторінки з 3.2 с до 1.1 с, показники Crawl Stats у Search Console продемонстрували зростання кількості сканованих сторінок на день на 45 %, а наші нові сторінки товарів з'явилися в пошуку протягом 24 годин».
07Поширені запитання
Чим crawl budget відрізняється від crawl rate limit?
Це залежить від контексту. Crawl rate limit — це максимальна швидкість, з якою Google запитуватиме сторінки з вашого сервера, не спричиняючи помилок, тоді як crawl budget — це загальний обсяг сканування, який Google виділяє вашому сайту, балансуючи цю швидкість із тим, як часто, на його думку, ваш контент потребує оновлення.
Чи варто мені турбуватися про Crawl Budget для мого невеликого особистого блогу?
Зазвичай у цьому немає потреби. Невеликі блоги зазвичай отримують достатній Crawl Budget за замовчуванням, тому, якщо у вас немає тисяч сторінок, які часто змінюються, Google просканує ваш новий контент без жодних спеціальних зусиль.
Як Google визначає Crawl Budget мого сайту?
Це залежить від двох основних сигналів. Google звертає увагу на crawl rate limit, що відображає, наскільки швидко ваш сервер може відповідати без помилок, та crawl demand, що оцінює, як часто ваш контент, ймовірно, змінюватиметься або запитуватиметься користувачами.
Чи збільшить покращення швидкості завантаження сторінки мій Crawl Budget?
Зазвичай це допомагає. Швидший час відповіді може підвищити crawl rate limit, дозволяючи Google завантажувати більше сторінок за той самий час, що може ефективно збільшити загальний Crawl Budget для вашого сайту.
Що станеться, якщо мій Crawl Budget занадто низький?
Якщо ваш бюджет низький, Google може не перевіряти всі ваші сторінки регулярно, через що новий або оновлений контент залишатиметься невидимим у результатах пошуку. Ви помітите менше сторінок у звіті Crawl Stats та падіння органічного трафіку для щойно доданих сторінок.
Скільки часу потрібно, щоб зміни в моєму Crawl Budget з'явилися в Search Console?
Зазвичай Google потрібно від кількох днів до тижня, щоб адаптувати Crawl Budget після того, як ви вдосконалите сайт. Тим часом ви можете відстежувати звіт Crawl Stats на предмет будь-яких змін у обсязі запитів та часі відповіді.
08Як про це питають уголос
Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.
Зазвичай це стається тому, що поточний Crawl Budget ще не виділив достатньо запитів на цей URL. Ви можете прискорити процес, надіславши сторінку через інструмент URL Inspection та переконавшись, що сервер швидко відповідає.
Зазвичай це проблема з Crawl Budget або заблоковані URL. Перевірте Crawl Stats у Google Search Console, щоб побачити, чи запитує Google ці сторінки, і переконайтеся, що ви ненавмисно не блокуєте їх за допомогою robots.txt або тегів noindex.
Це залежить від того, як було здійснено видалення. Якщо ви заблокували URL без належних редиректів або noindex, Google може подумати, що на сайті стало менше корисних сторінок, що зменшить Crawl Budget і видимість.