Усі сценарії/ Розробник
Сканування зупинилося на кількох сторінках: чому і що робити
Сканування власного сайту завершилося на кількох десятках сторінок або тягнеться годинами. Причин може бути кілька: robots.txt закриває розділи, сервер відповідає 429, CDN показує перевірку на бота, або правила меж відрізали більше, ніж хотілося. Поки не знаєш котра, налаштування крутити наосліп.
- Хто
- Розробник, DevOps, технічний SEO
- Сайт
- Сайт за CDN або захистом від ботів, з обмеженням запитів
- Що болить
- Сканування неповне або дуже повільне, і незрозуміло чому
- Що треба
- Точна причина з прикладами адрес і що змінити — на сайті чи в налаштуваннях
Кроки в Molfar
Прочитайте рядок robots.txt
Над живим скануванням Molfar пише, чиї правила діють: сайту, ваші власні з налаштувань чи жодних; який темп дозволяє сайт, наприклад Crawl-delay; скільки потоків; скільки шляхів закрито і для яких ШІ-ботів сайт закритий. Часто причина видна вже тут.
Сканування — документація (англійською)
На знімку: robots.txt і темп сканування Подивіться, як сайт стримує сканування
Коли сайт відповідає 429 чи 503, Molfar сам сповільнюється: менше потоків, довша пауза, з повагою до Retry-After, а після серії нормальних відповідей поступово розганяється знову. Той самий рядок каже, що сталося: «сайт відповів 429: сповільнено», «сайт перестав відповідати: пауза», «розганяємося знову».
Сканування — документація (англійською)На знімку: robots.txt і темп сканування Відкрийте діагностику
Кнопка «Чому сканування пройшло саме так?» у тому ж рядку або «Сканування › Діагностика…» відкриває панель із причинами одним списком: адреси, закриті robots.txt, відповіді 429 і 503, сторінки перевірки на бота з назвою сервісу, сторінки без відповіді, адреси за межами сканування, пропущені мовні версії, досягнутий ліміт. Кожен пункт — з кількістю й прикладами адрес. Агент через MCP отримує ті самі пункти інструментом diagnose_crawl.
Діагностика — документація (англійською)На знімку: robots.txt і темп сканування Перевірте власні межі
Лічильник «пропущено за налаштуваннями» під час сканування показує, скільки адрес відкинули ваші ж правила: «Включати», «Виключати», глибина, параметри, стартова папка. Якщо він великий, сканування неповне через налаштування, а не через сайт.
Налаштування · Межі сканування — документація (англійською)На знімку: robots.txt і темп сканування Змініть правила для свого сайту
Для власного сайту чи стейджингу в налаштуваннях сканування можна задати свій robots.txt і перевірити його кнопкою для тестової адреси або не враховувати robots.txt сайту. Захист від ботів краще не обходити, а попросити адміністратора CDN пропустити ваш краулер.
Налаштування · Сканування — документація (англійською)На знімку: robots.txt і темп сканування Проскануйте знову і порівняйте
Після змін запустіть сканування знову й порівняйте в «Історії» з попереднім: скільки нових адрес з'явилося і чи зникли сторінки з помилками відповіді.
Історія — документація (англійською)
На знімку: Історія сканувань
Що ви отримаєте
Причина з прикладами
Що саме зупинило сканування, з адресами, на яких це сталося.
Що змінити і де
На сайті — robots.txt, ліміт запитів, правило CDN; у Molfar — межі й темп.
Повне сканування
Повторний запуск, порівняний з першим.
Що варто знати
- Діагностика пояснює відкрите сканування з того, що воно записало, і нічого не запитує в сайту знову: щоб побачити, чи допомогла зміна, проскануйте ще раз.
- Molfar не обходить перевірки на бота: на CAPTCHA сканування може стати на паузу й відкрити сторінку, щоб ви пройшли перевірку самі.
- Ігнорувати robots.txt варто лише на сайтах, які ваші або на сканування яких ви маєте дозвіл.
- Деякі налаштування можуть бути закриті для вашого акаунта; замок пояснює, що їх відкриває.
Питання
- Чому Molfar сам сповільнюється?
- Бо 429 і 503 означають, що сервер просить менше запитів. Тиснути далі — отримати блокування або покласти сайт; повільне повне сканування корисніше за швидке неповне.
- Чи можна задати темп вручну?
- Так, «Запитів на секунду» задається в налаштуваннях сканування; Crawl-delay сайту при цьому однаково враховується, якщо ви поважаєте robots.txt.
- Діагноз бачить мовні версії?
- Так: якщо межі відрізали мовні версії сайту, діагноз називає їх окремим пунктом.