Что такое файл robots.txt?
Robots.txt — текстовый файл, размещённый в корневой директории сайта (например, example.com/robots.txt), который указывает поисковым краулерам и ботам, какие страницы или разделы сайта им можно и нельзя обходить. Файл следует стандарту Robots Exclusion Protocol.
Хотя robots.txt носит рекомендательный характер (не является принудительной мерой), все крупные поисковые системы — Google, Яндекс, Bing — уважают его директивы. Правильно настроенный robots.txt помогает оптимизировать краулинговый бюджет, защитить конфиденциальные разделы и управлять индексацией.
Используйте генератор robots.txt совместно с генератором Sitemap для создания полной карты сайта, HTTP Headers для проверки серверных заголовков и проверкой редиректов для аудита перенаправлений.
Как создать файл robots.txt
Создание robots.txt с нашим генератором занимает считанные секунды:
Начните с одного из 4 пресетов: «Разрешить всё» (полный доступ), «Заблокировать всё» (закрыть сайт), «Стандартный» (блокировка admin, api) или «Блокировать AI-ботов» (закрыть GPTBot, ClaudeBot и другие).
Выберите User-Agent краулера и задайте директивы Allow или Disallow для конкретных путей. Поддерживаются 20+ краулеров: Googlebot, Yandex, Bingbot, GPTBot, ClaudeBot и другие.
Укажите URL Sitemap для помощи поисковикам в обнаружении карты сайта. Установите Crawl-delay, если сервер имеет ограниченные ресурсы.
Скопируйте содержимое или скачайте файл robots.txt. Загрузите его в корневую директорию сайта, чтобы он был доступен по адресу yourdomain.com/robots.txt.
Справочник директив robots.txt
Файл robots.txt поддерживает несколько директив для управления доступом краулеров:
Указывает, к какому краулеру относятся правила. * означает «все боты». Примеры: Googlebot, Yandex, GPTBot, ClaudeBot.
Запрещает доступ к указанному пути. Disallow: /admin/ блокирует директорию admin. Disallow: / блокирует весь сайт.
Разрешает доступ к пути, переопределяя более широкий Disallow. Allow: /images/public/ в сочетании с Disallow: /images/ блокирует всё кроме public.
Указывает URL XML-карты сайта. Размещается вне блока User-agent. Пример: Sitemap: https://example.com/sitemap.xml
Задержка в секундах между запросами бота. Crawl-delay: 10 — ждать 10 секунд. Google не поддерживает (используйте Search Console), но Яндекс и Bing уважают.
Как заблокировать AI-ботов через robots.txt
С ростом популярности AI-систем многие владельцы сайтов хотят запретить AI-краулерам использовать их контент для обучения моделей. Robots.txt позволяет заблокировать конкретных AI-ботов:
Основные AI-краулеры для блокировки: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google AI), CCBot (Common Crawl), Bytespider (ByteDance). Наш генератор имеет пресет «Блокировать AI-ботов», добавляющий все основные правила в один клик.
Важно понимать: robots.txt — рекомендательный стандарт. Добросовестные AI-компании уважают директивы, но это не является техническим барьером. Для полной защиты контента используйте серверные методы доступа (аутентификация, WAF) в дополнение к robots.txt.
Robots.txt vs другие методы контроля доступа
Robots.txt — один из нескольких инструментов для управления доступом к сайту. Сравним его с альтернативами:
Рекомендательный стандарт для краулеров. Добросовестные боты уважают. Не защищает от вредоносных ботов. Размещается в корне сайта.
HTML мета-тег или HTTP-заголовок noindex, nofollow. Контроль на уровне страницы. Требует загрузки страницы краулером. Используйте с HTTP Headers.
Принудительная блокировка на уровне сервера. Полностью запрещает доступ по IP или User-Agent. Не рекомендательный, а технический барьер.
Web Application Firewall блокирует ботов на сетевом уровне. Самая надёжная защита, но может блокировать легитимных краулеров.
Лучшие практики robots.txt
Следуйте рекомендациям для правильной настройки robots.txt:
Не блокируйте CSS и JS — Google нужен доступ к ресурсам для правильного рендеринга страниц
Не используйте robots.txt для скрытия страниц — используйте noindex мета-тег или X-Robots-Tag HTTP-заголовок
Указывайте Sitemap — это помогает поисковикам найти вашу карту сайта без Search Console
Тестируйте перед загрузкой — неправильный robots.txt может заблокировать индексацию всего сайта
Один файл на субдомен — blog.example.com и www.example.com требуют отдельных robots.txt
Регулярно проверяйте — обновляйте robots.txt при изменении структуры сайта или добавлении новых разделов
Связанные инструменты
Используйте комплекс SEO-инструментов DNS Robot для полной оптимизации сайта:
Создайте XML карту сайта и добавьте её URL в robots.txt через директиву Sitemap
Проверьте серверные заголовки, включая X-Robots-Tag для постраничного контроля индексации
Проанализируйте все ссылки на странице для SEO-аудита внутренней перелинковки
Трассировка цепочки редиректов URL для оптимизации краулинга
Проверка SSL-сертификата для обеспечения HTTPS доступа к сайту
Узнайте CMS и технологии сайта для понимания конфигурации robots.txt