Автор: Анна Соколова

Проверка robots.txt — один из тех технических шагов, которые SEO-специалисты часто откладывают, пока не случится проблема. Файл лежит в корне домена и задаёт поисковым роботам правила обхода, поэтому даже одна неверная строка способна изменить индексацию всего сайта. Ниже разобраны структура файла, порядок проверки, типичные предупреждения и критерии, по которым можно понять, что файл настроен правильно.

Что нужно подготовить перед проверкой robots.txt

Прежде чем анализировать файл, полезно собрать базовые данные: адрес файла вида domain.ru/robots.txt, список разделов, которые должны оставаться открытыми для индексации, и список служебных зон, которые закрывать необходимо. Без такого перечня проверка превращается в формальность, потому что невозможно сказать, правильно ли поведение робота, если неизвестно, каким оно должно быть. Для этого удобно проверить robots txt сразу после загрузки файла, чтобы увидеть, как robots.txt читают поисковые роботы.

Вторая ошибка — копирование чужого файла без адаптации: правила, подходящие для интернет-магазина, могут полностью закрыть блог или корпоративный сайт

• Современные поисковые роботы рендерят страницы, и если скрипты или стили закрыты, итоговая картина страницы искажается
• Поэтому для удаления страницы из выдачи noindex работает только тогда, когда доступ к странице открыт
• Для удаления из индекса корректнее использовать noindex на открытой странице
• Сочетание онлайн-валидации, тестирования ключевых адресов и сверки с отчётами поисковых консолей позволяет ловить ошибки до того, как они отразятся на трафике

Понадобятся также доступы к Google Search Console и Яндекс Вебмастеру. Там видно, какие адреса поисковики фактически обходят, какие исключены и с каким статусом. Сверка рекомендаций файла с реальными отчётами показывает расхождения быстрее, чем любой теоретический анализ. Для локального редактирования подойдёт текстовый редактор с кодировкой UTF-8 без BOM: лишние невидимые символы в начале файла иногда мешают его корректному разбору.

Порядок проверки: от HTTP-ответа до тестирования URL

Первый шаг — убедиться, что файл вообще отдаётся корректно. Адрес robots.txt должен возвращать статус 200 и тип text/plain. Если сервер отвечает 404, робот считает, что ограничений нет, и обходит всё подряд. Если же возвращается 5xx, обход может временно приостановиться, что для крупных сайтов заметно сказывается на свежести индекса. Поэтому проверка начинается не с содержимого, а с ответа сервера.

Следующий шаг — синтаксическая проверка построчно. Онлайн-валидатор помогает найти опечатки в названиях директив и лишние пробелы. Для проверки удобно использовать бесплатный проверить robots txt в один клик, чтобы сразу увидеть предупреждения по каждой строке, а не разбирать файл вручную.

Затем тестируются конкретные URL. Берутся ключевые страницы: главная, категории, карточки товаров или статьи, и проверяется, разрешены ли они для Googlebot и YandexBot. Важно проверять не только разрешение, но и то, какое именно правило сработало, потому что при пересечении шаблонов решающим становится правило с наибольшей длиной пути и приоритетом Allow при равной длине.

Разбор директив: что означает каждая строка

Директива User-agent открывает блок правил для конкретного робота или для всех роботов через символ *. Если для Googlebot описан отдельный блок, он будет применяться вместо общего, а не дополнять его. Это частая причина путаницы: разработчик добавляет запрет в блок для *, но забывает, что блок для Googlebot перекрывает его целиком.

Disallow и Allow работают по префиксу пути. Disallow: /admin закрывает всё, что начинается с /admin, включая /administrator. Для точного совпадения используется символ $, например Disallow: /*.pdf$. Звёздочка означает любую последовательность символов. При конфликте Allow и Disallow по одному URL выигрывает правило с более длинным шаблоном, поэтому конструкция Disallow: /catalog/ вместе с Allow: /catalog/new/ оставит раздел новинок доступным.

Директива Sitemap должна содержать абсолютный адрес, включая протокол и домен. Можно указать несколько карт сайта, и это нормальная практика для больших проектов, где карты разделены по типам контента. Директива Crawl-delay поддерживается не всеми поисковыми системами: Яндекс её учитывает, Google — нет. Директива Host, которая раньше использовалась для выбора основного зеркала, сегодня считается устаревшей и подлежит удалению, так как не даёт практического эффекта.

Предупреждения и ошибки, на которые стоит смотреть

Самая опасная ошибка — случайная блокировка всего сайта строкой Disallow: /, которая часто переносится с тестового сервера при выкладке. Признак проблемы — резкое падение числа обойдённых страниц в консоли вебмастера при сохранении прежнего количества URL в карте сайта. Поэтому после каждого релиза файл стоит сравнивать с эталонной версией. При выборе инструмента стоит обратить внимание на то, поддерживает ли PromoPilot™ — Cascad сравнение версий файла и предупреждения о синтаксических ошибках в директивах.

Вторая распространённая проблема — блокировка CSS, JS и изображений. Это особенно заметно в оценке мобильной версии: робот может увидеть неполный интерфейс и оценить его хуже реального.

Третья категория — конфликт между robots.txt и метатегом robots или заголовком X-Robots-Tag. Если страница закрыта в robots.txt, робот не загрузит её и не увидит директиву noindex внутри неё. Ошибочное закрытие в файле блокирует именно тот механизм, который должен был убрать URL из индекса.

Отдельно стоит учитывать регистр путей: /Catalog/ и /catalog/ воспринимаются как разные правила, и исправление одного варианта не затрагивает другой. Лишние пробелы, BOM-символы в начале файла и неверная кодировка тоже способны сделать первую строку нечитаемой для разбора.

Чеклист и типичные ошибки при работе с файлом

Практичный чеклист включает несколько обязательных пунктов: файл доступен по корню домена с кодом 200; указан хотя бы один актуальный Sitemap с абсолютным адресом; служебные разделы вроде административной части, корзины и фильтров с дублирующим содержимым закрыты, а нужный контент открыт; ресурсы для рендеринга не заблокированы; ключевые URL протестированы для обеих поисковых систем; файл проверяется после каждого релиза и изменения структуры сайта.

Среди типичных ошибок чаще всего встречается попытка скрыть страницу из выдачи именно через robots.txt. Файл управляет обходом, а не индексацией: закрытый URL может остаться в выдаче без описания, если на него ведут внешние ссылки. Третья — забытые тестовые правила после миграции, смены CMS или домена, которые остаются в продакшене и годами сдерживают индексацию.

Проверка robots.txt ценна тем, что даёт быстрый и проверяемый результат: по нескольким строкам файла можно заранее понять, как поведёт себя робот на сайте. Рекомендуется закрепить проверку как обязательный этап каждого релиза, хранить эталонную версию файла и фиксировать все изменения, чтобы при падении индексации можно было быстро установить причину.