Screaming Frog

Screaming Frog — це десктопна програма, яка працює як веб-павук. Ви надаєте їй початкову URL-адресу (seed), і вона переходить за кожним знайденим посиланням, дотримуючись директив robots.txt та налаштувань затримки сканування (crawl-delay). Вона зберігає зібрані дані в серії таблиць у пам'яті: по одній для кожної URL-адреси зі стовпцями для коду стану, типу контенту, заголовка, метаопису, тегів заголовків, канонічного тегу, часу відповіді, кількості слів тощо. Інструмент також аналізує sitemaps і може бути налаштований на використання конкретного рядка user-agent (наприклад, Googlebot), щоб сканування імітувало те, як пошукова система бачить сайт. Програма працює локально на вашому комп'ютері, тому дані не виходять за межі вашої мережі, якщо ви самі не вирішите їх експортувати. Безкоштовна версія сканує до 500 URL-адрес; платна версія знімає це обмеження та додає рендеринг JavaScript, що дозволяє бачити контент, завантажений клієнтськими скриптами.

Завантажте безкоштовну версію з офіційного сайту та встановіть її. Введіть URL вашого сайту, налаштуйте параметри сканування (встановіть таку швидкість сканування, яка не перевантажить ваш сервер, і виберіть user-agent, що відповідає вашій цільовій пошуковій системі). Запустіть сканування та дочекайтеся його завершення. Коли все буде готово, перегляньте вбудовані звіти: знайдіть биті посилання на вкладці Response Codes, відсутні метаописи на вкладці Meta Description, дубльований контент на вкладці Duplicates та ланцюжки перенаправлень на вкладці Redirects. Експортуйте будь-який список проблем у форматі CSV або Excel і передайте його вашій команді розробників. Після впровадження виправлень повторно проскануйте ті самі URL, щоб підтвердити усунення проблем. Зробіть це щотижневою або щомісячною рутиною для постійного контролю стану сайту.

Основним результатом є таблиця URL-адрес із десятками стовпців. Ви помічаєте проблеми, сортуючи або фільтруючи ці стовпці. Наприклад, відфільтруйте стовпець Status Code, щоб показати лише 404-і помилки та побачити всі биті сторінки. Інструмент також надає зведені діаграми: кругову діаграму кодів відповіді, стовпчасту діаграму типів контенту та список сторінок із найбільшою кількістю посилань. Ви можете виміряти повноту сканування, порівнявши кількість просканованих URL-адрес із кількістю адрес у вашій sitemap. Інструмент фіксує час сканування та кількість запитів на секунду, що допомагає оцінити продуктивність сервера. З часом ви можете експортувати звіти та порівнювати їх, щоб відстежувати, чи зростає або зменшується кількість технічних SEO-проблем.

• Занадто швидке сканування без налаштування затримки сканування (crawl delay) може перевантажити ваш сервер і призвести до блокування вашої IP-адреси.
• Незмінація user-agent на відповідний Googlebot означає, що інструмент може бачити іншу версію сторінки, ніж Google.
• Ігнорування виключень у robots.txt: якщо ви не налаштуєте інструмент так, щоб він дотримувався robots.txt, він може сканувати заборонені шляхи та витрачати час даремно.
• Використання налаштувань за замовчуванням без фільтрів включає кожен параметр URL, ID сесії та посилання пагінації, створюючи шум, який приховує реальні проблеми.
• Переконання, що безкоштовна версія може рендерити JavaScript: вона не може. Для сайтів із великою кількістю JavaScript вам потрібна платна версія або окремий сервіс рендерингу.
• Сприйняття кожного попередження як критичної помилки: відсутність метаопису на сторінці адмінпанелі — це не те саме, що на публічній цільовій сторінці.

Screaming Frog — це інструмент для створення знімків стану, а не для безперервного моніторингу. Він не може замінити аналіз лог-файлів або моніторинг реальних користувачів. Безкоштовна версія обмежена 500 URL, що замало для більшості середніх або великих сайтів. Платна версія дозволяє виконувати масштабніші сканування, але вона все одно працює на вашому локальному комп'ютері, тому оперативна пам'ять і процесор можуть стати вузьким місцем для сайтів із сотнями тисяч URL. Він не сканує сторінки, захищені паролем, або сторінки за формами входу. Його часто плутають з повноцінною платформою для аудиту сайту, але це лише краулер: він збирає сирі дані, а ви маєте інтерпретувати ці дані та вирішувати, що саме потрібно виправити. Рендеринг JavaScript у платній версії не є ідеальним; деякий динамічний контент все ще може бути пропущений.

Маркетолог хоче знайти всі сторінки з відсутніми метаописами. Він відкриває Screaming Frog, вводить URL сайту та запускає сканування. Після завершення сканування він переходить на вкладку 'Meta Description'. Він бачить список URL зі стовпцем 'Meta Description 1'. Він натискає на заголовок, щоб відсортувати дані, а потім прокручує список до порожніх рядків. Він вибирає ці рядки, натискає праву кнопку миші та обирає 'Export Selected URLs'. CSV-файл містить список URL, який він надсилає розробнику з приміткою: 'Будь ласка, додайте унікальний метаопис для кожної з цих 47 сторінок'. Після того як розробник завершить роботу, маркетолог повторно сканує лише ці 47 URL (використовуючи режим 'List') і переконується, що тепер кожна сторінка має опис.

Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.

• Screaming Frog SEO Spider official page
• Screaming Frog SEO Spider user guide