Ми просканували 190 SEO-сайтів: що вони кажуть AI-ботам і що роблять їхні сервери

Сайти, що пишуть про пошук, — це ті, кого копіює решта вебу. Тож 4 листопада 2026 року ми направили GLLmolfar на 190 із них і подивилися, що вони віддають насправді: новинні видання на кшталт Search Engine Roundtable і PPC Land, блоги Ahrefs, Semrush, Moz і ще 62 виробників інструментів, експертів, агенції, власні пошукові блоги Google і Microsoft та SEO-сайти п'ятьма іншими мовами.

Для кожного сайту ми прочитали robots.txt для 14 AI-краулерів, яких відстежує застосунок, запросили llms.txt, запросили стартову сторінку як браузер і як чотири AI-краулери та просканували до 50 сторінок розділу новин чи блогу. HTML віддали 156 сайтів: це 6442 сторінки, з них 1643 статті зі 111 сайтів.

1. Через п'ять днів спільний токен проти навчання не використовує ніхто

30 жовтня Google і Microsoft підтримали спільний токен у robots.txt, яким сайт відмовляється від AI-навчання в усіх провайдерів одразу: група User-Agent: __usage_ai-training. 4 листопада його не було в жодному зі 157 файлів robots.txt, які ми змогли прочитати. Жодна головна сторінка не мала й нових значень Bing ai-training чи ai-grounding у мета-тегу robots.

Це не вирок токену — Google каже, що планує підтримати його у 2027 році, — але це корисна точка відліку. Якщо додати його зараз, ви будете попереду всіх SEO-видань, які ми переглянули.

Дванадцять сайтів уже користуються іншим механізмом: рядком Content-Signal, форматом, який просуває Cloudflare. П'ять із них мають керований текст Cloudflare слово в слово (search=yes, ai-train=no, use=reference). Три кажуть протилежне — ai-train=yes, ai-input=yes — і прямо запрошують AI. Три дозволяють AI-відповіді, але не навчання, а один забороняє і те, і те.

2. Більшість AI-блокувань — чиєсь налаштування за замовчуванням

Лише 13 зі 157 сайтів блокують хоч якийсь AI-краулер у robots.txt. Блокування зосереджені в одній групі: GPTBot блокують 7 із 22 маркетингових і медійних видань проти 1 із 57 виробників інструментів. П'ять із 13 файлів містять рядок # BEGIN Cloudflare Managed content і той самий список із восьми краулерів для навчання — GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent і Amazonbot. Ці сайти не писали політику, вони її увімкнули.

Усі 11 сайтів, що блокують GPTBot, залишають відкритим OAI-SearchBot. Розподіл між навчанням і відповідями, про який сперечалися рік, тепер став звичною формою: лише один сайт у вибірці, WebmasterWorld, взагалі блокує AI-краулер для відповідей.

Списки ще й застарілі. 15 файлів robots.txt називають anthropic-ai або Claude-Web, токени, яких немає в нинішній документації Anthropic про краулери; 13 із них називають і ClaudeBot. Лише 5 називають Claude-SearchBot і 6 — Claude-User, двох агентів, що забирають сторінки для відповідей Claude. Robots.txt, який одного разу скопіювали й більше не переглядали, каже «ні» краулерам, що вже не приходять, і нічого не каже тим, що приходять.

3. robots.txt каже «так», сервер каже «ні»

Потім ми запросили HTML кожної стартової сторінки ще чотири рази, з user agent GPTBot, ClaudeBot, PerplexityBot і OAI-SearchBot. Зі 147 сайтів, що відповіли браузеру, 19 (13%) відмовили хоча б одному AI-краулеру, якого дозволяє їхній власний robots.txt: 403, 429 «забагато запитів» на першому ж запиті або сторінка блокування Cloudflare. Найчастіше відмовляли ClaudeBot.

Читайте це з одним застереженням. Наші запити несли імена краулерів, але йшли з нашої адреси, а не з опублікованих діапазонів IP цих краулерів, і деякі фаєрволи блокують саме таке: запит, що називає себе GPTBot, звідти, звідки GPTBot ніколи не ходить. Тож відмова тут не доводить, що відмовляють справжньому краулеру. Вона доводить інше: robots.txt — це не вся політика. Правила, які вирішують, чи отримає AI-краулер сторінку, часто живуть у фаєрволі чи CDN, яких аудит robots.txt не бачить, і перевірити їх можна лише в логах сервера.

4. Деякі SEO-сайти неможливо проаудитувати SEO-краулером

Одинадцять сайтів (6%) на кожен запит не зі справжнього браузера відповідали перевіркою Cloudflare — і на user agent нашого краулера, і на user agent браузера з простого HTTP-клієнта. Серед них Search Engine Land, Search Engine Watch, Neil Patel, WordStream, The Drum і Marketing Week. Ще два, Marketing Dive і Social Media Today, віддавали сторінку user agent браузера і показували перевірку user agent краулера.

Троє з одинадцяти публікують llms.txt для AI-систем, а один пише в robots.txt ai-train=yes, ai-input=yes. Запрошення написане на одному рівні й відкликане на наступному. Перевірені краулери Google, Bing і OpenAI можуть пройти перевірку; десктопний SEO-краулер, скрипт моніторингу чи менший AI-сервіс — ні.

5. llms.txt має кожен третій, і вони не схожі

llms.txt віддають 59 зі 190 сайтів (31%). Попереду агенції — 11 із 25 (44%), потім виробники інструментів — 26 із 65 (40%); із 29 медійних видань він є в чотирьох, а серед офіційних пошукових блогів — лише в Microsoft Advertising.

Файли розходяться в тому, навіщо llms.txt узагалі. Медіанний файл має 65 посилань, найменший — 4. Шість мають понад 500, а один — майже 5000: це карта сайту під іншою назвою, і вона руйнує формат, що мав указати моделі на кілька сторінок, які пояснюють сайт. Два сайти публікують llms.txt і водночас блокують краулери для навчання в robots.txt — це послідовна версія політики: відповідай за моїми сторінками, але не навчайся на них.

6. Статті розмічені добре — крім Discover

На 1643 статтях, які знайшло сканування, сигнали довіри майже всюди: 94% мають тип Schema із сімейства Article, 95% називають автора, 88% описують автора як Person, 91% указують дату зміни. Медіанна стаття — 1978 слів, 7 заголовків H2 і 8 посилань на джерела; 57% мають хоча б один заголовок у формі питання.

Прогалина — у мета-тегу robots. Третина статей (33%) не має max-image-preview:large, налаштування, яке дозволяє Google Discover показати велике зображення. У новинних виданнях тип NewsArticle мають 126 зі 196 статей; решта використовує загальний Article.

7. База на 6442 сторінках

На всіх HTML-сторінках, які прочитало сканування, — статтях, категоріях, лендингах — знайомі вади нікуди не ділися, і найчастіші з них саме ті, що важать для допоміжних технологій.

Помилки JSON-LD зосереджені в трьох місцях: елементи хлібних крихт без position (180 сторінок), JSON-LD, який узагалі не розбирається (115 сторінок), і розмітка SoftwareApplication на сторінках інструментів без рейтингу чи відгуку (102 сторінки) — без них вона не дає розширеного результату, заради якого її додали.

Сторінки важкі, але швидкі. Медіанний HTML-документ важить 178 КБ ще до скриптів і зображень, а кожен десятий — понад 554 КБ; медіанний сервер відповів за 300 мс, кожен десятий — понад 1,3 секунди.

Що з цим робити

1. Вирішуйте окремо про навчання і про відповіді, для кожного краулера. Запишіть рішення в robots.txt, а якщо хочете спільний токен — додайте групу __usage_ai-training уже зараз. 2. Перевірте, що сервер погоджується з robots.txt. Пошукайте в логах GPTBot, ClaudeBot, Claude-SearchBot, OAI-SearchBot і PerplexityBot, а в CDN чи фаєрволі — відповіді 403 і 429 для них. 3. Приберіть старі токени. Замініть anthropic-ai і Claude-Web агентами, що існують сьогодні. 4. Якщо ви увімкнули керований robots.txt, прочитайте його. Це політика з вашим іменем. 5. Тримайте llms.txt коротким. Кілька посилань на сторінки, що пояснюють, чим ви займаєтеся, а не карта сайту. 6. Додайте `max-image-preview:large` до статей, якщо хочете трафік із Discover. 7. Дайте назву кожному посиланню й кнопці. Це найчастіша вада у вибірці й найдешевша у виправленні.

Як це виміряно і де межі

Список із 190 сайтів наш: новинні й галузеві видання, блоги SEO-інструментів, експерти, агенції, офіційні пошукові блоги та SEO-сайти німецькою, французькою, іспанською, польською й українською. 34 сайти не віддали HTML (перевірка, 404 за адресою, яку ми використали, або відсутність відповіді) і не входять у показники сторінок. Сканування брало до 50 сторінок розділу новин чи блогу, тож показники сторінок описують ці розділи, а не сайти цілком. JavaScript не виконувався; кількість слів — у HTML, як його віддає сервер. robots.txt прочитано для 14 AI-краулерів; запити з AI user agent зроблено один раз, з однієї адреси.

Усе це можна повторити в GLLmolfar: вигляд готовності до AI читає robots.txt для кожного AI-краулера й перевіряє llms.txt, а вигляд «Проблеми» показує перевірки сторінок, наведені вище, для будь-якого сайту, який ви просканували.