robots.txt

Цей файл використовує спеціальні директиви для передачі правил. Найважливішими елементами є команди User-agent та Disallow:. User-agent вказує, до якого бота (або «краулера») застосовується правило — ви можете націлити правило на всіх ботів за допомогою * або вказати конкретного, наприклад Googlebot. Після цього Disallow: вказує цільовому user-agent, які шляхи він має ігнорувати. Наприклад, якщо ви хочете заблокувати доступ до вашої внутрішньої тестової зони, вам слід використати Disallow: /staging/. Важливо розуміти, що цей файл контролює лише сканування, а не індексацію. Боту можна наказати не сканувати сторінку, але він все одно може знайти та проіндексувати її, якщо на неї посилаються інші частини вебсайту.

Перевірте свій файл robots.txt, звертаючи особливу увагу на шляхи, що містять конфіденційний або зайвий контент, як-от сторінки входу, панелі адміністратора або URL-адреси з автоматично згенерованими параметрами (наприклад, коди відстеження). Якщо у вас великий сайт із багатьма глибокими, несуттєвими розділами — як-от історія профілів користувачів або старі архівні папки — використовуйте директиву Disallow:, щоб не давати краулерам витрачати на них час. Обмежуючи глибину сканування лише вашим найціннішим контентом, що визначає бренд, ви гарантуєте, що пошукові системи ефективно розподіляють свій «бюджет сканування» на сторінки, які дійсно важливі для результатів пошуку ШІ.

Ви не можете покладатися лише на спостереження за результатами пошуку; ви повинні перевіряти поведінку сканування безпосередньо. Використовуйте інструменти розробника або спеціалізовані інструменти для аудиту сайту, які імітують запит бота до вашого файлу robots.txt. Ці інструменти підтвердять, чи правильно розпізнаються директиви та чи дійсно вказані шляхи заблоковані для сканування. Якщо важлива сторінка не сканується, це вказує або на неправильну директиву, або на те, що інший механізм (наприклад, метатег) скасовує цю інструкцію. Постійний моніторинг гарантує, що структура вашого сайту залишатиметься чистою для споживання ШІ.

Неправильне використання цього файлу може ненавмисно приховати цінний контент або не заблокувати необхідні розділи. Завжди ставтеся до директив як до рекомендацій, а не як до абсолютних команд.

• Warn: Припущення, що robots.txt запобігає індексації. Він зупиняє лише сканування. Якщо на сторінку веде посилання з іншого ресурсу, Google все одно може її проіндексувати, навіть якщо ви заблокували її в цьому файлі. — warn
• Warn: Блокування цілих каталогів без перевірки контенту. Ви можете випадково заблокувати важливу підпапку, яка містить основну інформацію про продукт, просто через загальну назву папки. — warn
• Check: Переконайтеся, що файл доступний і правильно розміщений у кореневому каталозі (yourdomain.com/robots.txt). Будь-яке відхилення призведе до того, що боти ігноруватимуть його або взагалі не зможуть знайти. — check

Файл robots.txt — це інструкція на рівні протоколу, що відрізняє його від інструкцій на рівні контенту. Наприклад, якщо вам потрібно повідомити пошуковим системам, що сторінка існує, але її не слід показувати в результатах пошуку — незалежно від того, чи сканують її боти чи ні — ви повинні використовувати метатег noindex у розділі ` цієї конкретної HTML-сторінки. Подібним чином канонічні теги (rel="canonical") використовуються для того, щоб спрямувати сканерів на пріоритетну версію контенту, якщо існують дублікати. Ці методи працюють на рівні документа, тоді як robots.txt` працює на рівні структури сайту.

Уявіть, що ваш вебсайт має портал користувача за адресою /user/ та внутрішню тестову зону за адресою /dev/. Ви хочете дозволити Googlebot сканувати все інше, але заблокувати доступ до цих двох зон. Ваш файл виглядатиме так:

User-agent: *
Disallow: /user/
Disallow: /dev/

Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.

• RFC 9309