Noindex

Розуміння різниці між скануванням та індексацією є ключовим. Коли краулер відвідує вашу сторінку, він спочатку сканує її — тобто зчитує весь контент, зображення та посилання. Директива Noindex впливає лише на другий етап: індексацію. Якщо ви впровадите noindex, Google все одно зможе відвідати сторінку (якщо це дозволено у robots.txt), але під час створення своєї величезної бази даних пошукових вебсторінок вони пропусять додавання цього URL. Це відрізняється від повного блокування сканування; файл robots.txt повністю перешкоджає доступу, що є набагато суворішим обмеженням і часто призводить до того, що контент взагалі ігнорується.

• Метатег: Найпоширенішим методом є використання `` у заголовку HTML сторінки. Це точний і дуже ефективний спосіб.
• HTTP-заголовок: Ви також можете надіслати цю інструкцію через заголовок HTTP-відповіді, що корисно для керування на стороні сервера.

Директива вказує пошуковій системі обробити вміст сторінки, але не додавати її до індексу.

Якщо ви випадково виявили проіндексовані сторінки, які не мають бути видимими, не намагайтеся просто видалити метатег і сподіватися на краще. Виконайте ці конкретні кроки цього тижня: По-перше, скористайтеся інструментом «Перевірка URL» у Google Search Console. Введіть конкретну URL-адресу та перевірте, чи позначена вона зараз як така, що підлягає індексації. Якщо це не так, ви можете запросити оновлення статусу або переконатися, що діє правильна директива. По-друге, проведіть аудит сайту на наявність поширених малоцінних сторінок — наприклад, сторінок подяки після відправки форми, сторінок результатів внутрішнього пошуку або списків категорій із фільтрами. Це основні кандидати для noindex. По-третє, переконайтеся, що будь-яка сторінка, призначена лише для авторизованих користувачів, має відповідні бар'єри автентифікації та теги noindex, оскільки ці сторінки ніколи не мають потрапляти в загальний пошуковий трафік.

• Проведіть аудит сторінок результатів внутрішнього пошуку; вони створюють величезну кількість малоцінного контенту. — warn
• Переконайтеся, що noindex застосовується лише до запланованої частини URL-адрес, а не випадково до цілих розділів сайту. — warn

Ви можете визначити, чи проіндексована сторінка, чи вона заблокована, перевіривши два місця. По-перше, перегляньте вихідний код робочої URL-адреси у вашому браузері та знайдіть рядок noindex у розділі `. Якщо ви його бачите, це ваше основне підтвердження. По-друге, виконайте фактичний пошуковий запит у Google (або на цільовій платформі ШІ-пошуку), використовуючи специфічну фразу, унікальну для цієї сторінки. Якщо сторінка з'являється на сторінках видачі пошукових систем (SERP), вона проіндексована, а директива не працює або відсутня. Якщо сторінка взагалі не з'являється, це свідчить про те, що тег noindex` працює правильно.

• Використовуйте оператор Google site: у пошукових запитах, щоб протестувати конкретні структури каталогів.

Неправильне використання цієї директиви є поширеним і може серйозно обмежити видимість вашого бренду. Не використовуйте noindex як універсальне рішення для всіх сторінок, які ви не хочете ранжувати. Цей тег є дуже специфічним, і надмірне його застосування сигналізує пошуковим системам, що великі частини вашого сайту є неважливими, що потенційно шкодить загальному рівню авторитетності.

• Плутанина між Noindex та Nofollow: noindex блокує перелік, тоді як nofollow лише блокує передачу ваги посилання. Вони вирішують різні проблеми. — warn
• Застосування до критично важливих цільових сторінок: Ніколи випадково не застосовуйте цей тег до сторінки, яку ви хочете високо ранжувати за конкретним ключовим словом. — warn

Директива noindex не є універсальним захистом. Вона контролює лише статус індексації, а не можливість сканування або доступу до контенту. Наприклад, якщо ви приховали сторінку за паролем, пошукові системи не побачать метатег, оскільки не зможуть отримати до нього доступ; тому сторінка автоматично виключається з індексу незалежно від наявного коду. Подібним чином, хоча noindex запобігає потраплянню у видачу, він не перешкоджає іншим способам виявлення, таким як пряме посилання або згадка URL у зовнішньому контенті, який Google може знайти іншими способами.

• Захист паролем (автентифікація) має пріоритет над метатегами; за замовчуванням сторінка є недоступною.

Розглянемо форму збору лідів на вашому сайті. Після того, як користувач надсилає свої дані, він перенаправляється на /thank-you/submission-success. Ця сторінка підтверджує дію, але не містить унікального контенту, корисного для пошукового ранжування, і її незручно додавати в закладки або поширювати. Щоб ця малоцінна сторінка підтвердження не засмічувала результати пошуку, але при цьому залишалася доступною для сканування (для налагодження), вам слід додати в її заголовок наступне: ``. Це каже Google: «Не індексуй мене, але, будь ласка, продовжуй сканувати всі посилання, які я міщу».

Мета полягає в тому, щоб заблокувати потрапляння у видачу, зберігаючи можливість сканування для внутрішньої структури посилань.

Той самий термін словами, якими про нього питають асистента, а не набирають у рядку пошуку — написано із ситуації, тому кожне питання несе ту ситуацію, з якої виникло.

• Google Search Central