Что делает проверка robots.txt?
Robots.txt — обычный текстовый файл в корне сайта (https://example.com/robots.txt), который сообщает краулерам, какие URL им можно загружать. Одна неверная строка может скрыть от Google весь сайт или, наоборот, пустить AI-краулеры на страницы, которые вы хотели закрыть.
Этот инструмент скачивает файл так же, как краулер, читает каждое правило по логике сопоставления Google и для любого URL и любого бота показывает, разрешён он или заблокирован, а также какая строка это определила. В декабре 2023 года Google убрал свой инструмент проверки robots.txt (robots.txt Tester) из Search Console, так что здесь можно быстро проверить правила до и после изменений.
Как проверить robots.txt
Укажите домен, например example.com, или полный URL страницы, чтобы сразу проверить её. Инструмент загружает /robots.txt из корня сайта и следует редиректам.
Ответ 200 означает, что правила действуют. 404 означает, что краулеры могут загружать всё. При ошибке сервера Google прекращает обход сайта, пока файл снова не начнёт загружаться.
Введите путь, например /blog/post?id=1, и выберите краулер. Вы увидите, разрешён URL или заблокирован, а также точное правило и номер строки, которые сработали.
Переключитесь на режим Вставить robots.txt, чтобы редактировать черновик и сразу видеть результат, затем опубликуйте файл и ещё раз проверьте рабочую версию.
Advertisement
Как краулеры читают robots.txt
Google, Яндекс, Bing и большинство добросовестных краулеров следуют RFC 9309 — стандарту исключений для роботов (Robots Exclusion Protocol). Почти любой результат определяют эти четыре правила:
Краулер подчиняется только группе с самым конкретным User-agent, совпадающим с его именем. Если у Googlebot есть своя группа, группу User-agent: * он полностью игнорирует.
Если URL соответствуют несколько правил, побеждает правило с самым длинным путём. Allow: /shop/sale/ перевешивает Disallow: /shop/ для страниц внутри /shop/sale/.
Если правила Allow и Disallow одинаковой длины, Google выбирает менее строгое из них — Allow.
* соответствует любым символам, а $ обозначает конец URL. Disallow: /*.pdf$ блокирует все PDF-файлы, но не /file.pdf?download=1.
Что означает HTTP-статус robots.txt
Краулеры реагируют на код ответа ещё до того, как прочитают хоть одно правило. Вот как Google обрабатывает каждый случай:
Файл читается, и его правила соблюдаются. Google читает первые 500 КиБ и игнорирует всё, что идёт дальше.
Google проходит как минимум пять редиректов. Если после этого robots.txt так и не найден, файл считается отсутствующим.
Обрабатывается так, будто robots.txt нет: сканировать можно любой URL. Исключение — 429 Too Many Requests.
Пока ошибка сохраняется, Google считает весь сайт заблокированным. Через 30 дней он переходит на последнюю сохранённую копию, а если её нет, считает, что ограничений нет.
Advertisement
Как закрыть сайт от AI-краулеров в robots.txt
AI-компании используют разные имена краулеров для обучения моделей, AI-поиска и загрузки страниц по запросу, поэтому можно заблокировать одного, не затрагивая остальных. Блокировка Google-Extended запрещает использовать ваш контент для Gemini, но не влияет на Google Поиск, а блокировка Googlebot повлияет.
Таблица AI-краулеры в инструменте сразу показывает, каких из 13 AI-ботов пускает ваш robots.txt. Чтобы заблокировать основные краулеры для обучения моделей, добавьте:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Частые ошибки в robots.txt
Забытый `Disallow: /` от тестовой версии сайта блокирует всё. Это самая частая причина, по которой новый сайт так и не появляется в Google.
Попытка скрыть страницы через robots.txt. Заблокированный URL всё равно может попасть в индекс по ссылкам, просто без описания. Чтобы убрать страницу из поиска, разрешите её сканирование и добавьте метатег
noindexили заголовокX-Robots-Tag.Строки `Noindex:` в robots.txt. Google перестал их поддерживать в сентябре 2019 года, и они игнорируются.
Блокировка CSS и JavaScript. Google отображает страницы как браузер, и из-за заблокированных файлов ваши страницы могут выглядеть для него сломанными.
Неправильный регистр букв. Названия директив к регистру не чувствительны, а пути чувствительны:
Disallow: /Admin/не блокирует/admin/.Один файл на все поддомены. Robots.txt действует только для своего хоста и протокола. Для
blog.example.comнужен отдельный файл.Crawl-delay для Google. Googlebot эту директиву игнорирует, а Bing учитывает.
Advertisement
Примеры robots.txt
Скопируйте нужный шаблон, а затем вставьте весь файл в инструмент, чтобы проверить его:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlДругие инструменты для SEO и сканирования
Настройте и проверьте всё остальное, что влияет на обход сайта: