Усі сценарії/ Власник сайту
Готовність до AI-пошуку: які боти читають сайт і що вони зможуть процитувати
Клієнти дедалі частіше питають ChatGPT, Perplexity чи AI Overviews, а не відкривають десять посилань. Ви не знаєте, чи ці асистенти взагалі можуть прочитати ваш сайт: можливо, robots.txt їх не пускає, CDN віддає їм іншу сторінку, а текст з'являється лише після JavaScript. Перевірити це можна з власного комп'ютера, без SEO-знань.
- Хто
- Власник сайту, який веде його сам
- Сайт
- Сайт компанії, блог або каталог послуг
- Що болить
- Невідомо, чи бачать сайт AI-асистенти
- Що треба
- Зрозумілий список: що відкрито, що закрито, що виправити
Кроки в Molfar
Скануйте сайт і відкрийте екран AI
Після сканування екран AI показує оцінку готовності з чотирьох частин. Доступ і текст, який отримують боти, виміряні: robots.txt, зразкові сторінки, завантажені як кожен бот, текст лише після JavaScript і nosnippet. Зміст і довіра — оцінка самого застосунку. Оцінка не буває вищою за слабшу з двох виміряних частин.
AI — документація (англійською)
На знімку: Екран AI Подивіться, кого пускає robots.txt
Таблиця «robots.txt, бот за папкою» ставить ✓ або ✕ кожному боту в кожній папці, а наведення показує правило й рядок, що спрацювали. Закрити бота для навчання — законний вибір: AI Overviews і AI Mode від Google використовують Googlebot, а не Google-Extended.
AI · robots.txt за папками — документація (англійською)На знімку: Екран AI Перевірте, що боти отримують насправді
«Перевірити як AI-боти» завантажує близько десяти сторінок як браузер і з User-Agent кожного бота, якого дозволяє robots.txt, — з вашого комп'ютера, без JavaScript. Видно статус і кількість слів для браузера і для бота. CDN, що перевіряє IP-адресу бота, може відповісти справжньому боту інакше.
AI · Перевірка як AI-боти — документація (англійською)На знімку: Екран AI Знайдіть, що заважає цитуванню
Блок «Чи може AI прочитати й процитувати» перелічує проблеми з кількістю сторінок для кожної: спершу виміряні, як nosnippet чи max-snippet: 0, далі стильові, позначені «евристика». Евристики не впливають на оцінку, і рядок відкриває сторінки, яких він стосується.
AI · Чи може AI процитувати — документація (англійською)
На знімку: Фрагменти сторінки Перевірте, на які питання відповідає сайт
Вставте питання, які ставлять ваші клієнти, по одному в рядок, і натисніть «Зіставити питання». Локальна модель ембедингів порівнює кожне з кожною секцією сайту й показує найближчу. З підключеною Search Console є й запити у формі питань із показами та кліками.
AI · Які питання закриває сайт — документація (англійською)
На знімку: Семантичний пошук Перевірте llms.txt і Markdown для агентів
Molfar показує, чи є llms.txt і llms-full.txt, їхні розділи й посилання, що ведуть на помилки. Для зразкових сторінок — чи віддає сайт Markdown на запит Accept: text/markdown і чи є .md-версія. Жоден великий AI-пошуковик не заявляв, що читає llms.txt, і застосунок так і каже.
AI · llms.txt — документація (англійською)На знімку: Екран AI Збережіть звіти
Звіти AI readiness і Page citability відповідають кожен на одне питання: чи можуть боти завантажити й прочитати сайт і як ретривер може розрізати сторінку на фрагменти. Обидва зберігаються в HTML або PDF.
Звіти — документація (англійською)На знімку: Фрагменти сторінки
Що ви отримаєте
Карта доступу
Яким AI-ботам robots.txt дозволяє які папки, з правилом і рядком.
Що боти отримують
Статус і кількість слів для браузера і для кожного бота на зразкових сторінках.
Список виправлень
Що заважає цитувати сторінки, з кількістю сторінок і окремо від стильових порад.
Що варто знати
- Оцінка готовності — власна оцінка Molfar, а не стандарт; виміряні в ній лише доступ і текст, який отримують боти.
- Перевірка йде з вашого комп'ютера: CDN, що перевіряє IP справжнього бота, може відповісти йому інакше.
- Зіставлення питань потребує ембедингів, які будуються на вашому комп'ютері під час сканування.
Питання
- Якщо я закрию GPTBot, сайт зникне з ChatGPT?
- Закриття бота для навчання — окремий вибір. Боти, що завантажують сторінки для відповідей, мають інші імена, і Molfar показує кожного окремо.
- Чи гарантує висока оцінка, що мене цитуватимуть?
- Ні. Оцінка показує, чи можуть боти прочитати сайт; що потрапить у відповідь, вирішує асистент.
- Мені потрібен llms.txt?
- Molfar перевіряє його, якщо він є, але жоден великий AI-пошуковик не заявляв, що його читає.