Популярные инструменты

Тема

Генератор robots.txt

Сгенерируйте robots.txt, которому можно доверять: каждое правило объясняется, пока вы его вводите, файл перечитывает наша проверка robots.txt по RFC 9309 и по правилам самого Google, а вердикт для любого робота и любого пути виден ещё до публикации.

Пресеты по документации WordPress, Shopify, Next.js и самого Google · роботы, которых описывает каждый оператор, по назначению · решающее правило с номером строки · файл создаётся в вашем браузере, ничего не загружается
Создаётся и проверяется в вашем браузере

Один файл на хост и протокол: для www.example.com и example.com нужны отдельные файлы.

Начать с пресета
Что делает
  • Любой робот может сканировать любой URL сайта.
  • Строка Sitemap: указывает роботам на ваш sitemap.
Чего не делает
  • Ничего не скрывает: robots.txt — публичный файл, и это просьба, а не замок.
  • Не просит поисковую систему индексировать страницу: сканирование и индексирование — разные вещи.

Источник: RFC 9309, по состоянию на 26 октября 2026 г..

Правила

Все остальные роботы

User-agent: *

Эту группу читает любой робот, у которого нет своей группы.

  • Открывает весь сайт.
Google эту директиву игнорирует, Bing — читает.

Роботы по назначению

Выберите, что получает каждый известный робот. Робот со своей группой читает только её.

Поисковые системы8

Сканируют сайты, чтобы построить поисковый индекс. Закрытые страницы всё равно могут попасть в выдачу по ссылкам с других сайтов, но их содержимое прочитано не будет.

  • GooglebotGoogleДа, по словам оператора
  • Storebot-GoogleGoogleДа, по словам оператора
  • BingbotMicrosoftДа, по словам оператора
  • ApplebotAppleДа, по словам оператора
  • Amzn-SearchBotAmazonДа, по словам оператора
  • DuckDuckBotDuckDuckGoДа, по словам оператора
  • YandexBotYandexДа, по словам оператора
  • BaiduspiderBaiduОператор не сообщает
Обучение ИИ6

Собирают страницы для обучения моделей. Отдельный токен позволяет отказаться от обучения, не выпадая из поиска.

  • Google-ExtendedGoogleТолько токен, в запросах не отправляется
  • GPTBotOpenAIДа, по словам оператора
  • ClaudeBotAnthropicДа, по словам оператора
  • Applebot-ExtendedAppleТолько токен, в запросах не отправляется
  • meta-externalagentMetaДа, по словам оператора
  • AmazonbotAmazonДа, по словам оператора
Ответы ИИ4

Загружают страницы, чтобы отвечать на вопросы со ссылкой на ваш сайт.

  • OAI-SearchBotOpenAIДа, по словам оператора
  • Claude-SearchBotAnthropicДа, по словам оператора
  • PerplexityBotPerplexityДа, по словам оператора
  • meta-webindexerMetaДа, по словам оператора
По просьбе пользователя5

Загружают одну страницу, потому что о ней попросил человек, поэтому некоторые операторы предупреждают, что такие роботы могут игнорировать robots.txt.

Запрещая их, вы отказываете человеку, а не сканированию: когда кто-то просит ИИ-ассистента открыть вашу страницу, ассистент, который соблюдает файл, не прочитает её для него. Если вы против обучения, запретите роботов для обучения выше.

  • ChatGPT-UserOpenAIНе всегда, по словам оператора
  • Claude-UserAnthropicДа, по словам оператора
  • Perplexity-UserPerplexityНе всегда, по словам оператора
  • meta-externalfetcherMetaНе всегда, по словам оператора
  • Amzn-UserAmazonНе всегда, по словам оператора
Превью, реклама и прочие8

Превью ссылок, инструменты владельца сайта, проверка рекламы, архивы и роботы, чьи операторы называют другую задачу или не называют никакой.

  • Google-InspectionToolGoogleДа, по словам оператора
  • GoogleOtherGoogleДа, по словам оператора
  • AdsBot-GoogleGoogleДа, по словам оператора
  • OAI-AdsBotOpenAIОператор не сообщает
  • facebookexternalhitMetaНе всегда, по словам оператора
  • meta-externaladsMetaДа, по словам оператора
  • BytespiderByteDanceОператор не сообщает
  • CCBotCommon CrawlДа, по словам оператора

Sitemap

  • Введите сайт выше, и адрес заполнится сам.

Файл

1 предупреждение

Ваш robots.txt/robots.txt

2 строки
  1. User-agent: *
  2. Allow: /

ОшибкаПредупреждениеЗаметка23 B из 500 KiB

Что нашла проверка

1 предупреждение

  • Нет строки SitemapПредупреждение

    Что делать Это самая дешёвая строка в файле, и её читает любой робот. Добавьте Sitemap: с полным адресом вашего sitemap.

Проверьте до публикации

Выберите робота и путь: вердикт, решающее правило и группу, которую читает робот, определяет тот же алгоритм сопоставления, что работает в проверке robots.txt.

Примеры путей
Робот

  • Этому роботу можно запрашивать этот URL.

    Выбранная группа

    User-agent: *начинается в строке 1

    Ни одна группа не называет этого робота, поэтому действует группа *.

    Решающее правило

    Allow: /строка 2

    Под это же правило попадают и

    /any-page

    Что сравнивалось

    /

    Сравниваются только путь и строка запроса, байт за байтом после процентного кодирования. Хост, протокол и фрагмент в правило никогда не входят.

Как создать файл robots.txt

Напишите правила, сохраните их как простой текстовый файл с именем robots.txt в кодировке UTF-8 и загрузите его в корень сайта, чтобы он открывался по адресу https://example.com/robots.txt. Отправлять ничего не нужно: роботы сами запрашивают этот адрес.

Google укладывает это в три предложения: «Файл должен называться robots.txt. На сайте должен быть только один такой файл. Файл robots.txt нужно разместить в корневом каталоге того хоста сайта, к которому он относится». Это должен быть «текстовый файл в кодировке UTF-8», и «поисковые роботы Google автоматически найдут его и начнут применять».

Генератор выше начинает с пресета, объясняет каждое правило по ходу ввода и перечитывает результат парсером и алгоритмом сопоставления нашей проверки robots.txt, прежде чем вы его скопируете. Скачанный файл называется robots.txt: UTF-8 без метки порядка байтов, только переводы строки LF и никаких дат или комментариев, о которых вы не просили.

Четыре шага от правил до работающего robots.txt
  1. 1Напишите правилаНачните с пресета, затем добавьте группы и пути, которые нужны вашему сайту.
  2. 2Сохраните как robots.txtПростой текст, UTF-8, без метки порядка байтов.
  3. 3Загрузите в кореньФайл должен открываться в корне хоста:https://example.com/robots.txt
  4. 4ПроверьтеЗдесь — до публикации, затем опубликованный файл — проверкой robots.txt.

Отправлять файл не нужно: роботы Google находят его сами.

Генератор robots.txt: пресет WordPress, объяснение каждого правила, файл с номерами строк и находки проверкиГенератор robots.txt: пресет WordPress, объяснение каждого правила, файл с номерами строк и находки проверкиЧто делает пресетИ чего не делает: ни один из этих пресетов не убирает страницу из Google, и каждый прямо об этом говорит.Каждое правило объясненоПути, которые правило закрывает, и те, которые оно пропускает, — по тому же алгоритму сопоставления, что выносит каждый вердикт, — и более длинное правило, которое делает исключение.Файл и находкиФайл с номерами строк, который тот же аудит, что и в проверке robots.txt, перечитывает до того, как вы его скопируете.ВердиктВыберите робота и путь: разрешено или запрещено, какое правило это решило и в какой строке, и какую группу читает робот.
Пресет WordPress в генераторе: что пресет делает и чего не делает, объяснение каждого правила по данным алгоритма сопоставления, файл в том виде, в каком он будет опубликован, и вердикт для робота и пути. Нажмите на номер, чтобы увидеть, что показывает каждая часть.

Что содержит файл robots.txt, строка за строкой

Группы и строки Sitemap. Группа начинается с одной или нескольких строк User-agent, которые называют роботов, а за ними идут правила Allow и Disallow, которые эти роботы соблюдают; строка Sitemap стоит отдельно, вне всех групп.

RFC 9309 определяет группу как «одну или несколько строк user-agent, за которыми следуют одно или несколько правил», а робот соблюдает ровно одну группу: ту, где указан его собственный токен продукта, или группу *, если такой нет. Google читает четыре поля и никаких других: user-agent, allow, disallow и sitemap.

Имена полей не чувствительны к регистру, а пути — чувствительны: в собственном примере Google disallow: /file.asp распространяется на /file.asp, «но не на» /FILE.asp. Строка Sitemap: должна содержать полный адрес с протоколом и хостом; любой другой вариант этот генератор отклоняет и объясняет почему.

robots.txt, строка за строкой
robots.txt
  1. 1User-agent: *Начинает группу для каждого робота без своей группы
  2. 2Disallow: /cart/Путь, который этим роботам загружать нельзя
  3. 3Allow: /cart/helpИсключение: длиннее, чем Disallow, поэтому побеждает
  4. 4
  5. 5User-agent: GPTBotНачинает группу, которая называет двух роботов
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Обоим закрыт весь сайт
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlВне всех групп: полный адрес

Allow или Disallow, * и $: как срабатывает правило

Когда под URL подходят несколько правил, побеждает правило с самым длинным путём, какого бы типа оно ни было, а при равенстве побеждает Allow. * означает любую последовательность символов, а $ отмечает конец URL; больше ничего особого в пути нет.

RFC 9309: «ДОЛЖНО использоваться самое специфичное совпадение. Самое специфичное совпадение — то, в котором больше всего октетов», и «если правило allow и правило disallow равнозначны, СЛЕДУЕТ использовать правило allow». Так работает и собственный файл WordPress: Disallow: /wp-admin/ закрывает папку, а более длинное Allow: /wp-admin/admin-ajax.php открывает в ней один файл.

Правило без $ — это префикс, поэтому Disallow: /admin закрывает и /administrator; добавьте слеш (/admin/), если имеете в виду папку. Под каждым правилом редактор выше показывает пути, которые оно захватывает, и некоторые из тех, что нет, — по тому же алгоритму сопоставления, что выносит каждый вердикт, — и отмечает правило, которое всегда проигрывает другому.

* и $ — и что на самом деле захватывает каждый шаблон
ШаблонЗахватываетНе захватывает
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ и + — обычные символы. Регулярных выражений в robots.txt нет.

Под URL подходят два правила: побеждает более длинный путь
/admin/report.pdf
  • Disallow: /admin/7 символов
  • Allow: /admin/report.pdf17 символов

Побеждает Allow: это правило совпадает с большей частью пути.

Точная ничья
Disallow: /files/7 символовAllow: /files/7 символов

Длина одинаковая, поэтому побеждает Allow. «Наименее строгое правило», как говорит Google.

Пример файла принадлежит www.example.org — вымышленному сайту: ни один настоящий robots.txt не показан как сломанный.

robots.txt для WordPress, Shopify и Next.js

Все три уже отдают свой файл, а пресеты выше пишут то, что описывает документация каждой платформы: WordPress закрывает свою панель администратора, но разрешает admin-ajax.php, Shopify закрывает корзины, оформление заказа и коллекции с фильтрами или сортировкой, а Next.js отдаёт файл, который вы положили в app/robots.txt.

WordPress пишет свой файл в коде, в функции do_robots(): User-agent: *, Disallow для пути панели администратора и Allow для admin-ajax.php, а на публичном сайте начиная с WordPress 5.5 ещё и строку Sitemap: для /wp-sitemap.xml. Если включена настройка «Попросить поисковые системы не индексировать сайт», WordPress 5.3 и новее больше не пишет Disallow: /, а использует мета-тег robots.

Shopify говорит, что его стандартный файл «подходит большинству магазинов». Загрузить свой файл нельзя: чтобы что-то изменить, нужно править шаблон темы robots.txt.liquid, а Shopify называет это «неподдерживаемой настройкой». Next.js отдаёт app/robots.txt как есть или собирает файл из app/robots.ts.

Что отдают WordPress, Shopify и Next.js и где это меняется
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Пишет сам WordPress. Изменить можно плагином или фильтром robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Стандартный файл Shopify. Меняется в шаблоне темы robots.txt.liquid.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Ваш собственный файл в app/robots.txt или app/robots.ts, который отдаётся по адресу /robots.txt.

Каждый файл — то, что пишет для example.com одноимённый пресет.

Как заблокировать ИИ-роботов: что действительно работает

Группа с именем робота и Disallow: / под ней работает для каждого робота, чей оператор говорит, что соблюдает robots.txt, и только для них. Это просьба, которую робот выполняет, а не замок: робот, который игнорирует файл, всё равно может загрузить любую страницу.

У большинства ИИ-компаний несколько роботов, поэтому решайте отдельно для каждой задачи. Запрещая робота для обучения, например GPTBot или ClaudeBot, вы закрываете того, кто собирает страницы для моделей; запрещая робота для ответов, например OAI-SearchBot или PerplexityBot, вы ещё и выпадаете из ссылок, которые показывают эти ассистенты. Токен Google для обучения — это не Googlebot: «Google-Extended никак не влияет на показ сайта в Google Поиске и не используется в качестве фактора ранжирования в этом сервисе».

Третий вид устроен иначе. ChatGPT-User, Claude-User, Perplexity-User и Amzn-User загружают одну страницу, потому что человек попросил ассистента её открыть, так что, запрещая их, вы отказываете этому человеку, а некоторые их операторы говорят, что такие загрузчики всё равно могут игнорировать robots.txt. Поэтому в списке роботов выше они вынесены в отдельный раздел.

Три задачи ИИ-роботов и что каждый оператор говорит о robots.txt
ОператорОбучениеОтветы ИИЗапрос человека
OpenAIGPTBotСоблюдаетOAI-SearchBotСоблюдаетChatGPT-UserМожет игнорировать
AnthropicClaudeBotСоблюдаетClaude-SearchBotСоблюдаетClaude-UserСоблюдает
PerplexityТакого робота нетPerplexityBotСоблюдаетPerplexity-UserМожет игнорировать
GoogleGoogle-ExtendedТолько токенТакого робота нетТакого робота нет
AppleApplebot-ExtendedТолько токенТакого робота нетТакого робота нет
Metameta-externalagentСоблюдаетmeta-webindexerСоблюдаетmeta-externalfetcherМожет игнорировать
AmazonAmazonbotСоблюдаетТакого робота нетAmzn-UserМожет игнорировать
  • ОбучениеСобирает страницы для обучения модели.
  • Ответы ИИЗагружает страницы, чтобы ответить на вопрос, обычно со ссылкой на ваш сайт.
  • Запрос человекаЗагружает одну страницу, потому что кто-то о ней попросил. Некоторые операторы говорят, что такой робот может игнорировать robots.txt.

robots.txt не убирает страницу из Google: используйте noindex

Он просит роботов не загружать страницу, но не просит поисковую систему её не показывать. Google «может индексировать URL и показывать его в результатах поиска без фрагмента», если на него ссылаются другие страницы. Чтобы страницы не было в выдаче, используйте noindex и оставьте страницу открытой для сканирования, чтобы тег можно было прочитать.

Search Console называет это «Проиндексировано, несмотря на блокировку в файле robots.txt». И Google прямо говорит, что «чтобы правило noindex сработало, страница или ресурс не должны быть заблокированы файлом robots.txt»: собственный noindex запрещённой страницы никто не увидит, потому что робот эту страницу не загружает.

Поэтому каждый пресет выше говорит, чего он не делает. Disallow: / в пресете для тестового сайта не пускает вежливых роботов, но URL тестового сайта, на который где-то есть ссылка, всё равно может попасть в выдачу: закройте тестовый сайт паролем и никогда не переносите эту строку на рабочий сайт.

Почему запрещённая страница всё равно может появиться в Google и почему её noindex никогда не читается
  1. Робот
  2. Читает robots.txt
  3. URL запрещён
  4. Не загружает страницу
Сама страница<meta name="robots" content="noindex">Никогда не читается
На неё ссылается другой сайт
Поисковый индексURL без описания
Search Console называет этоПроиндексировано, несмотря на блокировку в файле robots.txt

Чтобы страницы не было в выдаче: впустите робота и поставьте noindex либо пускайте только после входа в аккаунт.

Где должен лежать файл robots.txt

В корне того хоста, к которому он относится, по адресу /robots.txt, по одному файлу на хост и протокол. https://example.com/robots.txt ничего не говорит о https://www.example.com или https://shop.example.com: каждому нужен свой файл, а robots.txt внутри папки не читается никогда.

Google: «Файл robots.txt должен находиться в каталоге верхнего уровня и передаваться по поддерживаемому протоколу». Отчёт о файлах robots.txt в Search Console показывает файлы 20 главных хостов ресурса по отдельности, причём HTTP и HTTPS учитываются раздельно.

Введите свой сайт вверху генератора, и он покажет точный адрес, по которому должен открываться файл, заполнит строку Sitemap: для этого хоста и даст ссылку на проверку robots.txt, которая прочитает опубликованный файл, как только он появится.

Один robots.txt на хост и протокол
Этот файлЧто охватывает
https://example.com/robots.txtВсе URL на https://example.com
https://www.example.com/robots.txtТолько www.example.com: это отдельный хост
http://example.com/robots.txtТолько сайт на http://: это отдельный протокол
https://shop.example.com/robots.txtТолько shop.example.com
https://example.com/blog/robots.txtНичего: robots.txt в папке не читается никогда

Crawl-delay, Host, Clean-param и Content-Signal

Google не читает ни одну из них. Crawl-delay читает Bing, Clean-param — Yandex, Host нет ни в стандарте, ни в списке Google, а Content-Signal от Cloudflare говорит о том, для чего можно использовать ваш контент, а не о том, что можно сканировать.

Google перечисляет свои четыре поля и добавляет, что «другие поля, например crawl-delay, не поддерживаются». В блоге самого Bing сказано, что «директива crawl-delay принимает в качестве значений только положительные целые числа», поэтому редактор отклоняет дробное значение, а не записывает его. Текущую справку Bing не удалось прочитать, чтобы подтвердить диапазон или единицу измерения, поэтому эта страница не называет ни того, ни другого.

Ни одна из них не ломает файл: RFC 9309 устанавливает, что разбор других записей «НЕ ДОЛЖЕН мешать разбору явно определённых записей». Из этих четырёх генератор пишет только Crawl-delay — с пометкой, кто его читает.

Какая поисковая система какую директиву читает
ДирективаGoogleBingYandex
User-agentЧитаетЧитаетЧитает
AllowЧитаетЧитаетЧитает
DisallowЧитаетЧитаетЧитает
SitemapЧитаетЧитаетЧитает
Crawl-delayИгнорируетЧитаетНе подтверждено
Clean-paramИгнорируетИгнорируетЧитает
HostИгнорируетИгнорируетНе подтверждено
noindexИгнорируетНе подтвержденоНе подтверждено
Content-SignalИгнорируетНе подтвержденоНе подтверждено
  • Google поддерживает четыре поля и прямо об этом говорит: user-agent, allow, disallow и sitemap.
  • Блог самого Bing подтверждает Crawl-delay. Диапазон и единицу измерения мы не приводим: текущую справку Bing не удалось прочитать, чтобы их проверить.
  • Google отказался от неё в 2019 году, а в стандарт она никогда не входила.
  • Content Signals Policy от Cloudflare: заявление о том, как можно использовать контент, а не правило сканирования.

Как проверить только что написанный файл robots.txt

Дважды. До публикации — в блоке «Проверьте до публикации» выше: выберите робота и путь и посмотрите, какое правило решает. После загрузки — проверкой robots.txt по опубликованному файлу, потому что ответ сервера значит не меньше, чем содержимое файла.

Файл, который отвечает 404, считается отсутствующим, поэтому любой робот может брать всё; ответ 500 или 503 означает, что робот, который следует стандарту, не должен брать ничего. RFC 9309 §2.3.1.4: робот «ДОЛЖЕН считать, что запрещено всё». Google смягчает это собственной лестницей, показанной на схеме.

Собственного инструмента проверки robots.txt у Google больше нет: Search Central объявил о его отключении 15 ноября 2023 года, а пришедший ему на смену отчёт о файлах robots.txt показывает файл, который загрузил Google, но не проверяет URL по правилу. Эту проверку выполняют блок «Проверьте до публикации» в генераторе выше и проверка robots.txt.

Что каждый ответ на GET /robots.txt значит для всего сайта
Сервер отвечаетРобот затем
200Следует правилам из файла.
301, 302Проходит не меньше пяти переходов, затем останавливается. Тогда Google считает файл ответом 404.
403, 404Сканирует всё, как будто файла нет.
429Не сканирует ничего. Google относит этот ответ к 5xx, а не к 4xx.
500, 503По стандарту не сканирует вообще ничего.
Имени нет в DNSЧитать нечего: сайта нет, а значит, нет и вердикта.
Что Google делает с 5xx, день за днём
  1. 1Первые 12 часовНе сканирует сайт и повторяет запрос файла
  2. 2До 30 днейПользуется последней удачной копией robots.txt
  3. 3После 30 днейЕсли сайт доступен, ведёт себя так, будто robots.txt нет

Ошибки в robots.txt, которые стоят сайтам трафика

Каждая из дорогих ошибок — одна короткая строка: Disallow: /, оставшийся от тестовой версии, префикс, который заходит дальше задуманного, строка Sitemap:, записанная как путь, путь без начального слеша и строка noindex, которую Google перестал читать в 2019 году.

Каждую из них здесь видно до того, как вы скопируете файл. Аудит проверки robots.txt работает здесь по ходу ввода, и его находки стоят под файлом; строку, которую робот отверг бы, генератор не пишет вовсе, а редактор прямо рядом с ней объясняет, почему она не попала в файл.

Одна ошибка — это пара, а не строка: URL, который здесь запрещён и при этом несёт noindex на странице. Робот никогда не загружает страницу, поэтому никогда не видит noindex, и URL может остаться в результатах поиска. Выберите одно: закройте сканирование или впустите робота и скажите ему не индексировать.

Источники

Шесть ошибок в robots.txt и что на самом деле делает каждая
Строка как написанаЧто происходит на самом деле
Disallow: /Осталось от тестовой версии: весь рабочий сайт закрыт для всех роботов.
Disallow: /adminЗакрывает также /administrator и /admin-tools. Добавьте завершающий слеш.
Allow: / под User-agent: *Робот, у которого где-либо в файле есть своя группа, это никогда не читает.
Sitemap: /sitemap.xmlСтрока Sitemap должна содержать полный адрес с хостом.
Disallow: adminПуть начинается с /. Это правило не совпадает ни с чем.
noindex: /private/Не работает с 2019 года. Страница остаётся доступной для сканирования и индексирования.

Генератор robots.txt: частые вопросы

Как создать файл robots.txt?

Выберите пресет выше или напишите правила сами, затем скопируйте или скачайте файл. Сохраните его как простой текст в UTF-8 с именем robots.txt и загрузите в корень сайта, чтобы он открывался по адресу https://ваш-сайт/robots.txt. Отправлять файл не нужно: роботы Google находят его сами. Затем запустите проверку robots.txt для опубликованного адреса и убедитесь, что сервер отвечает 200.

Куда положить файл robots.txt?

В корень того хоста, к которому он относится, по адресу /robots.txt, и никогда не в папку: там его не ищет ни один робот. Каждому хосту и протоколу нужен свой файл, поэтому example.com, www.example.com и shop.example.com отдают отдельные robots.txt. В Shopify загружать файл некуда: вы правите шаблон темы robots.txt.liquid. В Next.js файл кладут в папку app.

Нужен ли вообще файл robots.txt?

Строго говоря, нет. Если у сайта нет robots.txt и этот адрес отвечает 404, робот может загружать всё, и RFC 9309 это допускает. Файл стоит завести хотя бы ради строки Sitemap, а ещё чтобы не пускать роботов в корзины, во внутренний поиск и в бесконечные URL фильтров. Важнее всего, чтобы этот адрес никогда не отвечал ошибкой сервера: 5xx говорит роботу, который соблюдает стандарт, не загружать вообще ничего.

Может ли robots.txt убрать страницу из Google?

Нет. Он не даёт роботу загрузить страницу, но не мешает Google её показывать. Запрещённый URL, на который ссылаются с других страниц, всё равно может попасть в индекс и в выдачу без описания — со статусом Search Console «Проиндексировано, несмотря на блокировку в файле robots.txt». Чтобы страницы не было в выдаче, дайте Google её просканировать и отдайте мета-тег noindex или заголовок X-Robots-Tag либо закройте её за входом в аккаунт. Никогда не сочетайте Disallow и noindex на одном URL.

Повлияет ли блокировка ИИ-роботов на позиции в Google?

Нет, если вы отказываетесь от обучения ИИ. Google-Extended — токен, который Google читает для обучения моделей, — отделён от Googlebot, и Google говорит, что он не влияет на показ сайта в Google Поиске и не является фактором ранжирования. Запрет GPTBot, ClaudeBot и других роботов для обучения тоже ничего не меняет для поисковых систем, потому что каждый робот читает только группу, в которой он назван.

Стоит ли блокировать ChatGPT-User и Claude-User?

Только если вы хотите отказывать людям. Эти роботы загружают одну страницу, потому что кто-то попросил ChatGPT или Claude её открыть, поэтому их запрет не даёт ассистенту этого человека прочитать вашу страницу, а сканирование он не останавливает. Некоторые операторы говорят, что такие загрузчики всё равно могут игнорировать robots.txt. Если вы против обучения, запретите GPTBot и ClaudeBot: именно это делает пресет «Без обучения ИИ».

Нужен ли отдельный robots.txt для каждого поддомена?

Да. Файл robots.txt действует только для того хоста и протокола, с которого он отдаётся, поэтому каждому из хостов blog.example.com, shop.example.com и www.example.com нужен свой файл, а правила из example.com/robots.txt до них никогда не доходят. По той же причине отчёт о файлах robots.txt в Search Console показывает файлы по хостам. Введите в генератор каждый хост по очереди: для каждого он подставит правильную строку Sitemap.

Поддерживает ли Google Crawl-delay?

Нет. Google перечисляет четыре поддерживаемых поля — user-agent, allow, disallow и sitemap — и прямо говорит, что поля вроде crawl-delay не поддерживаются. Bing эту директиву читает, и в блоге самого Bing сказано, что значение должно быть положительным целым числом, поэтому этот генератор отклоняет дробные значения. Строка Crawl-delay не вредит, но Googlebot она не замедлит, а настройки скорости сканирования в Search Console больше нет.

Что в стандартном robots.txt WordPress?

Три строки и, на публичном сайте, строка Sitemap: User-agent: *, Disallow для /wp-admin/, Allow для /wp-admin/admin-ajax.php и, начиная с WordPress 5.5, строка Sitemap для /wp-sitemap.xml. Именно это пишет собственная функция WordPress do_robots(). Более длинное правило Allow побеждает Disallow, поэтому admin-ajax.php остаётся доступным для сканирования. Выберите пресет WordPress, чтобы начать ровно с этого файла.

Как проверить файл robots.txt?

До публикации воспользуйтесь блоком «Проверьте до публикации» на этой странице: выберите робота и путь, и вы увидите, разрешён он или запрещён, какое правило это решило и в какой строке, и какую группу прочитал робот. После загрузки файла запустите проверку robots.txt для своего сайта. Она загружает настоящий файл, поэтому заодно объясняет, что код ответа сервера значит для каждого робота.

Почему не работает моё правило Allow?

Обычно потому, что тот же URL совпадает с более длинным Disallow: побеждает самый длинный путь, какого бы типа ни было правило, а Allow выигрывает только при равенстве. Или у робота есть своя группа, и он никогда не читает группу *, где стоит ваш Allow. Редактор выше отмечает правило, которое всегда проигрывает другому, а блок «Проверьте до публикации» называет решающее правило и группу, которую прочитал робот.

Бесплатен ли этот генератор и загружает ли он мой файл?

Он бесплатный, без регистрации и дневных лимитов. Всё происходит в вашем браузере: файл пишется, разбирается и проверяется на этой странице, и ничего из того, что вы вводите, никуда не отправляется. Ссылки наружу ведут только на источники пресетов и на проверку robots.txt, которая загружает ваш опубликованный файл с нашего сервера, лишь когда вы её откроете и запустите проверку.

Ещё инструменты для сканирования и индексирования