01Що це таке та як це працює
Googlebot використовує евристичний алгоритм, щоб визначити Crawl rate для кожного сайту. Цей алгоритм враховує потужність вашого сервера, швидкість його відповіді та наявність помилок. Якщо ваш сервер працює швидко та стабільно, Googlebot збільшує частоту запитів. Якщо він бачить повільні відповіді або збої, він зменшує навантаження. Crawl rate є динамічним показником, а не фіксованою величиною. Ви можете опосередковано впливати на нього, забезпечуючи швидку роботу сервера та відсутність помилок на сайті. Google ігнорує директиву crawl-delay у robots.txt, хоча інші пошукові системи можуть її дотримуватися.
Crawl rate — це швидкість, з якою пошукова система відвідує ваш сайт. Це частота запитів.
02Що з цим робити
Щоб керувати вашим Crawl rate, почніть із продуктивності сервера. Відкрийте звіт Crawl Stats у Google Search Console, щоб побачити щоденні запити та середній час відповіді. Якщо ви помітите падіння, перевірте наявність помилок сервера або нещодавні зміни у robots.txt. Щоб стимулювати вищий Crawl rate, переконайтеся, що ваш сервер може обробляти більше одночасних запитів. Використовуйте інструмент URL Inspection, щоб надіслати запит на індексацію важливих сторінок. Уникайте блокування Googlebot за допомогою robots.txt, якщо на це немає вагомих причин. Підтримуйте актуальність вашої карти сайту та видаляйте неробочі посилання.
03Як це вимірюється або помічається
Ви можете виміряти Crawl rate, перевіривши логи вашого сервера. Відфільтруйте user agent Googlebot і підрахуйте кількість запитів за секунду або за годину. Звіт Crawl Stats у Google Search Console показує кількість запитів за день, середній час відповіді та розмір завантаження. Раптове зміна Crawl rate часто свідчить про проблему, наприклад, про збій сервера або помилку в robots.txt. Інструменти аналітики в реальному часі також можуть показувати трафік сканування в момент його виникнення.
04Поширені помилки
- Блокування сканерів за допомогою robots.txt, що заважає Google індексувати ваш сайт.
- Встановлення низького crawl-delay для Google, який ігнорується і марнує час.
- Ігнорування помилок сканування в Search Console, що може знизити ваш Crawl rate.
- Використання robots.txt для блокування CSS або JavaScript, що заважає рендерингу та може зменшити Crawl rate.
- Припущення, що високий Crawl rate — це завжди добре; він може перевантажити ваш сервер.
05Обмеження та плутанина
Crawl rate — це не те саме, що crawl budget. Crawl budget — це загальна кількість URL, які Google може просканувати за певний період, тоді як crawl rate — це швидкість запитів. Ви не можете налаштувати crawl rate напряму; він визначається алгоритмом Google. Це стосується не всіх пошукових систем — Bing та інші мають свої власні системи. Crawl rate не є фактором ранжування. Сайт із низьким crawl rate все одно може мати високі позиції, якщо його контент є релевантним та авторитетним.
06Розглянемо приклад
Візьмемо сайт із 1 000 сторінок. Якщо Googlebot сканує зі швидкістю 5 запитів на секунду, на сканування всіх сторінок піде 200 секунд. Але якщо сервер починає відповідати повільно, Googlebot знижує швидкість до 1 запиту на секунду, подовжуючи сканування до 1 000 секунд. Це показує, як продуктивність сервера безпосередньо впливає на crawl rate.
07Поширені запитання
Чим crawl rate відрізняється від crawl budget?
Crawl rate — це швидкість, з якою пошукова система запитує сторінки, тоді як crawl budget — це загальна кількість URL, які пошукова система просканує на вашому сайті протягом певного проміжку часу. Ваш crawl rate безпосередньо впливає на ваш crawl budget. Уявіть, що crawl rate — це темп, а crawl budget — це загальний ліміт.
Як мені виміряти мій crawl rate?
Ви можете виміряти crawl rate, перевіривши логи вашого сервера, щоб підрахувати кількість запитів від Googlebot або інших ботів пошукових систем за секунду або хвилину. Такі інструменти, як Google Search Console, надають статистику сканування. Це показує вам фактичну швидкість і те, які сторінки скануються.
Коли мені варто налаштувати crawl rate?
Вам слід налаштувати crawl rate, якщо продуктивність вашого сервера страждає від навантаження. Почніть із перевірки продуктивності сервера та часу відгуку. Якщо ви отримуєте помилки або повільні відповіді, ви можете знизити crawl rate у Google Search Console.
Що буде, якщо мій crawl rate занадто високий?
Якщо ваш crawl rate занадто високий, ваш сервер може почати працювати повільніше або навіть вийти з ладу, що спричинить простої та проблеми з продуктивністю для реальних користувачів. Ви можете помітити помилки 5xx у логах. Це може зашкодити зручності використання вашого сайту та опосередковано вплинути на позиції в пошуку.
08Як про це питають уголос
Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.
Так, це можливо. Перевірте логи вашого сервера на наявність різкого зростання запитів від Googlebot. Якщо crawl rate незвично високий, ви можете знизити його в Google Search Console, щоб зменшити навантаження.
Це залежить від розміру та популярності вашого сайту. Для великих сайтів велика кількість запитів — це норма, але якщо ви бачите помилки або уповільнення, можливо, вам потрібно налаштувати crawl rate.
Так, ви можете встановити індивідуальний Crawl rate у Google Search Console без впливу на позиції. Зниження цього показника лише сповільнює те, як швидко Google виявляє та повторно сканує ваш контент, а не те, як він його ранжує.
Подивіться в Molfar
Molfar типово дотримується robots.txt, а в Settings › Crawling задаються його власна швидкість запитів, кількість паралельних з'єднань і тайм-аут.
Як працює цей екран (англійською)Про Molfar, наш десктопний краулер