Do Czego Służy Tester Robots.txt?
Robots.txt to zwykły plik tekstowy w katalogu głównym witryny (https://example.com/robots.txt), który mówi crawlerom, jakie adresy URL mogą pobierać. Jedna błędna linia może ukryć całą witrynę przed Google albo wpuścić crawlery AI na strony, które miały pozostać dla nich zamknięte.
To narzędzie pobiera plik tak jak crawler, odczytuje każdą regułę według logiki dopasowania Google i dla dowolnego URL i dowolnego bota pokazuje, czy jest dozwolony, czy zablokowany, oraz która linia o tym zdecydowała. Google wycofał własne narzędzie robots.txt Tester z Search Console w grudniu 2023 roku, więc to szybki sposób na sprawdzanie robots.txt przed zmianą reguł i po niej.
Jak Przetestować Plik Robots.txt
Wpisz domenę, np. example.com, albo pełny URL strony, aby od razu ją przetestować. Narzędzie pobiera /robots.txt z katalogu głównego witryny i podąża za przekierowaniami.
Odpowiedź 200 oznacza, że reguły obowiązują. 404 oznacza, że crawlery mogą pobierać wszystko. Błąd serwera sprawia, że Google przestaje skanować witrynę, dopóki plik znów się nie wczyta.
Wpisz ścieżkę, np. /blog/post?id=1, i wybierz crawlera. Zobaczysz, czy jest dozwolona, czy zablokowana, a także dokładną regułę i numer linii, które do niej pasują.
Przełącz na Wklej robots.txt, aby edytować wersję roboczą i od razu widzieć wynik, a potem opublikuj plik i ponownie sprawdź wersję na żywo.
Advertisement
Jak Crawlery Odczytują Robots.txt
Google, Bing i większość dobrze działających crawlerów stosuje RFC 9309, standard Robots Exclusion Protocol. Te cztery zasady decydują o niemal każdym wyniku:
Crawler stosuje się tylko do grupy z najbardziej szczegółowym User-agent pasującym do jego nazwy. Jeśli Googlebot ma własną grupę, całkowicie ignoruje grupę User-agent: *.
Gdy do URL pasuje kilka reguł, wygrywa ta z najdłuższą ścieżką. Allow: /shop/sale/ ma pierwszeństwo przed Disallow: /shop/ dla stron w /shop/sale/.
Jeśli reguły Allow i Disallow są równie długie, Google wybiera mniej restrykcyjną, czyli Allow.
* pasuje do dowolnych znaków, a $ oznacza koniec URL. Disallow: /*.pdf$ blokuje każdy plik PDF, ale nie /file.pdf?download=1.
Co Oznacza Status HTTP Pliku Robots.txt
Crawlery reagują na kod odpowiedzi, zanim przeczytają choćby jedną regułę. Tak Google traktuje każdy przypadek:
Plik zostaje odczytany, a jego reguły są przestrzegane. Google czyta pierwsze 500 KiB i ignoruje wszystko, co jest dalej.
Google podąża za co najmniej pięcioma przekierowaniami. Jeśli nadal nie dotrze do pliku robots.txt, traktuje go jako brakujący.
Traktowane tak, jakby robots.txt nie istniał: każdy URL może być skanowany. Wyjątkiem jest 429 Too Many Requests.
Dopóki błąd trwa, Google traktuje całą witrynę jako zablokowaną. Po 30 dniach wraca do ostatniej zapisanej kopii, a jeśli jej nie ma, zakłada brak ograniczeń.
Advertisement
Blokowanie Crawlerów AI w Robots.txt
Firmy AI używają osobnych nazw crawlerów do trenowania modeli, wyszukiwania AI i pobierania stron na żądanie, więc możesz zablokować jeden z nich bez blokowania pozostałych. Zablokowanie Google-Extended sprawia, że Twoje treści nie są używane w Gemini, ale nie wpływa na wyszukiwarkę Google, w przeciwieństwie do zablokowania Googlebot.
Tabela Crawlery AI w narzędziu pokazuje na pierwszy rzut oka, które z 13 botów AI wpuszcza Twój robots.txt. Aby zablokować główne crawlery trenujące modele, dodaj:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Najczęstsze Błędy w Robots.txt
Pozostawione `Disallow: /` z wersji testowej (staging) blokuje wszystko. To najczęstszy powód, dla którego nowa witryna nigdy nie pojawia się w Google.
Ukrywanie stron za pomocą robots.txt. Zablokowany URL nadal może zostać zaindeksowany na podstawie linków, tylko bez opisu. Aby strona nie pojawiała się w wynikach, pozwól ją skanować i dodaj metatag
noindexlub nagłówekX-Robots-Tag.Linie `Noindex:` w robots.txt. Google przestał je obsługiwać we wrześniu 2019 roku i są ignorowane.
Blokowanie CSS i JavaScript. Google renderuje strony jak przeglądarka; zablokowane pliki mogą sprawić, że Twoje strony będą dla niego wyglądać na uszkodzone.
Zła wielkość liter. W nazwach dyrektyw wielkość liter nie ma znaczenia, ale w ścieżkach ma:
Disallow: /Admin/nie blokuje/admin/.Jeden plik dla wszystkich subdomen. Robots.txt dotyczy tylko własnego hosta i protokołu.
blog.example.compotrzebuje osobnego pliku.Crawl-delay dla Google. Googlebot go ignoruje. Bing go respektuje.
Advertisement
Przykłady Robots.txt
Skopiuj potrzebny wzorzec, a potem wklej cały plik do testera, aby go sprawdzić:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlWięcej Narzędzi SEO i do Skanowania Witryn
Zbuduj i sprawdź resztę konfiguracji skanowania: