zeytulaevr.ru

Генератор robots.txt

Соберите правила для поисковых роботов визуально — без риска опечатки в синтаксисе — и скачайте готовый robots.txt.

robots.txt

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Как работает robots.txt

robots.txt — это текстовый файл в корне сайта, который поисковые роботы читают перед обходом страниц. Каждое правило начинается с User-agent (для какого робота оно действует — «*» означает «для всех») и содержит директивы Allow и Disallow, указывающие, какие пути можно или нельзя обходить. Файл не является средством защиты от чтения — это лишь рекомендация для добросовестных роботов, страницу всё равно можно открыть напрямую по ссылке.

Зачем закрывать служебные пути

Служебные разделы — панели администрирования, API-эндпоинты, страницы поиска и фильтров с множеством комбинаций параметров — обычно не несут пользы в поисковой выдаче, но их обход роботом тратит краулинговый бюджет и может создавать дубли контента. Пресет «Стандартный» закрывает типовые технические пути для Next.js и WordPress — их стоит адаптировать под структуру конкретного сайта.

Зачем указывать Sitemap

Строка Sitemap в robots.txt подсказывает роботу, где искать полный список страниц сайта, — это ускоряет обнаружение новых и изменённых страниц. Указывать её необязательно (sitemap можно добавить напрямую в Google Search Console и Яндекс.Вебмастер), но так робот находит её автоматически при первом же обращении к сайту.

Частые вопросы

robots.txt защищает страницы от посторонних?

Нет, это лишь рекомендация для добросовестных поисковых роботов — файл не ограничивает прямой доступ по ссылке и не подходит для защиты конфиденциальной информации. Для этого нужны авторизация или ограничения на уровне сервера.

Что означает пустая директива Disallow?

Disallow: без значения означает «ничего не запрещено» — это способ явно разрешить полный обход сайта для указанного User-agent.

Можно ли задать разные правила для разных роботов?

Да, добавьте отдельное правило с конкретным User-agent (например, Googlebot или Yandex) — директивы внутри него будут применяться только к этому роботу, а не ко всем сразу.

Где должен находиться файл robots.txt?

Строго в корне домена — по адресу вида https://example.com/robots.txt. Файл, размещённый в подпапке, поисковые роботы не найдут и не будут использовать.