Motyw

Popularne narzędzia

Tester robots.txt

Ten test robots.txt pokazuje wszystko, na czym opiera wynik: regułę, która zdecydowała o twoim adresie URL, z numerem wiersza; grupę, którą robot naprawdę przeczytał, i powód, dla którego pominął pozostałe; oraz to, co kod stanu twojego pliku oznacza dla całej witryny. Sprawdź robots.txt, zamiast zgadywać.

31 znanych robotów i to, co każdy operator mówi o robots.txt · decydująca reguła z numerem wiersza · RFC 9309 i interpretacja samego Google · robots.txt odczytany raz, a potem każdy testowany adres URL jest dopasowywany w twojej przeglądarce
Czytamy raz, dopasowujemy tu

Wpisz domenę, żeby przeczytać jej plik, albo pełny adres, np. example.com/admin/, żeby od razu przetestować też tę ścieżkę.

  • PobranieGET /robots.txt
  • Odczytgrupy, reguły, pliki sitemap
  • Grupaktórych reguł przestrzega robot
  • Werdyktco może skanować każdy robot
Spróbuj

Jak sprawdzić robots.txt, gdy testera Google już nie ma

Wpisz domenę powyżej i wybierz „Sprawdź robots.txt”. Pobieramy plik raz, z naszego serwera, a potem w twojej przeglądarce testujemy względem niego każdy wpisany adres URL, dla dowolnego wybranego robota — czyli robimy to, co robił tester robots.txt od Google, zanim go wycofano.

Google ogłosił zmianę 15 listopada 2023 roku: „W ramach tej aktualizacji wycofujemy tester robots.txt”. Starsze narzędzie zniknęło w grudniu 2023 roku, a raport dotyczący pliku robots.txt w Search Console, który je zastąpił, to coś zupełnie innego.

Ten raport pokazuje pliki, które Google już pobrał dla 20 głównych hostów w usłudze, której jesteś zweryfikowanym właścicielem, z datą sprawdzenia, rozmiarem w bajtach i liczbą problemów. Nie przetestuje adresu URL względem reguły, nie sprawdzi robota spoza Google i nie zajrzy do witryny, która nie jest twoja. Ta strona robi wszystkie trzy rzeczy.

Co pokazuje raport dotyczący pliku robots.txt w Search Console, a co robi tester
Raport robots.txt w Search ConsoleTylko twoje zweryfikowane usługiTester robots.txtDowolna witryna, dowolny robot, dowolny URL
  • Plik, który Google ostatnio pobrał
  • Jego rozmiar i data sprawdzenia
  • Liczba problemów z parsowaniem
  • Czy ten URL jest dozwolony dla tego robota?
  • Która reguła o tym zdecydowała i w którym wierszu
  • Robot spoza Google
  • Witryna, która nie jest twoja

Google ogłosił zmianę 15 listopada 2023 roku i usunął tester w grudniu 2023 roku.

Test robots.txt: werdykt pliku, reguła i grupa, które zdecydowały o /admin/public/ dla robota Googlebot, oraz uwagiTest robots.txt: werdykt pliku, reguła i grupa, które zdecydowały o /admin/public/ dla robota Googlebot, oraz uwagiKonsekwencjaNie sam kod stanu, tylko to, co oznacza dla całej witryny. 404 pozwala tu każdemu robotowi pobrać wszystko; 503 oznacza, że robot zgodny ze standardem nie pobiera niczego.Decydująca regułaReguła, która zdecydowała o tym adresie URL dla tego robota, z numerem wiersza i regułą, z którą wygrała. Wygrywa najdłuższe dopasowanie, a przy remisie wygrywa Allow.Wybrana grupaKtórą grupę robot naprawdę przeczytał i dlaczego pominął pozostałe. Tego kroku inne narzędzia nie pokazują.UwagiKażdy problem przy swoim wierszu pliku, razem z tym, co z nim zrobić.
Sprawdzenie wymyślonej witryny: co oznacza kod stanu pliku, tester URL z decydującą regułą i wybraną grupą oraz problemy przy ich wierszach. Wybierz numer, aby zobaczyć, co pokazuje każda część.

Jak Google wybiera grupę, która obowiązuje robota?

Robot przestrzega dokładnie jednego zestawu reguł. Szuka grupy, której wiersz User-agent wymienia jego własny token produktu; dopiero gdy takiej nie ma, wraca do grupy oznaczonej *. Grupa * to rozwiązanie awaryjne, nigdy dodatek.

RFC 9309 mówi to wprost: „Roboty MUSZĄ stosować dopasowanie bez rozróżniania wielkości liter, aby znaleźć grupę pasującą do tokenu produktu” oraz „[jeśli] pasująca grupa nie istnieje, roboty MUSZĄ przestrzegać grupy z wierszem user-agent o wartości *, o ile taka jest”. Google mówi to samo własnymi słowami: „W przypadku konkretnego robota tylko jedna grupa jest prawidłowa”.

Wynikają z tego dwie rzeczy i razem odpowiadają za większość nieporozumień. Kilka grup wymieniających ten sam token łączy się w jedną, więc liczą się oba bloki User-agent: Googlebot. Ale grupa nazwana i grupa * nigdy się nie łączą: Allow: / pod * nic nie daje robotowi Googlebot, gdy tylko istnieje grupa Googlebot. Googlebot-Image i inne roboty Googlebot-* wracają do grupy googlebot, a to zachowanie, które robot dodaje ponad mechanizmem dopasowania — otwartoźródłowy mechanizm dopasowania od Google go nie implementuje.

Którą grupę czyta robot i dlaczego pozostałe są pomijane
robots.txt
  1. 1# www.example.org
  2. 2User-agent: *
  3. 3Allow: /
  4. 4Disallow: /cart/
  5. 5
  6. 6User-agent: Googlebot
  7. 7Disallow: /admin/
  8. 8Allow: /admin/report.pdf
  9. 9
  10. 10Sitemap: https://www.example.org/sitemap.xml
  1. 1Jakaś grupa wymienia własny token tego robota?Czyta tę grupę. Grupa * nie jest używana.
  2. 2Wymienia go kilka grup?Czyta je jako jedną grupę.
  3. 3Istnieje grupa *?Czyta grupę *.
  4. —Żadne reguły nie obowiązują. Wolno skanować wszystko.
Ten sam plik, dwa roboty
GooglebotWiersz 6Własna grupa. Allow: / pod * nigdy nie jest czytane.
GPTBotWiersz 2Żadna grupa go nie wymienia, więc czyta *.
Przykładowy plik należy do www.example.org, wymyślonej witryny: żaden prawdziwy robots.txt nie jest tu pokazany jako zepsuty.

Allow czy Disallow: wygrywa najdłuższe dopasowanie

Gdy do adresu URL pasuje więcej niż jedna reguła, wygrywa ta z najdłuższą ścieżką, bez względu na jej rodzaj. Jeśli Allow i Disallow mają tę samą długość, wygrywa Allow.

RFC 9309: „Najbardziej szczegółowe znalezione dopasowanie MUSI zostać użyte. Najbardziej szczegółowe dopasowanie to to, które ma najwięcej oktetów” oraz „jeśli reguła allow i reguła disallow są równoważne, POWINNA zostać użyta reguła allow”. Google opisuje to samo zachowanie: przy sprzecznych regułach stosuje „regułę najmniej restrykcyjną”.

Oktety, a nie znaki: ścieżka z polskimi znakami albo z %2F jest porównywana po zakodowaniu procentowym i właśnie tu proste narzędzia się mylą. Porównywane są tylko ścieżka i ciąg zapytania, od pierwszego znaku, z rozróżnianiem wielkości liter, choć w nazwach dyrektyw wielkość liter nie ma znaczenia — Disallow: /File.pdf nie dotyczy /file.pdf.

Dwie reguły pasują do jednego URL: wygrywa dłuższa ścieżka
/admin/report.pdf
  • Disallow: /admin/7 znaków
  • Allow: /admin/report.pdf17 znaków

Wygrywa Allow: dopasowuje większą część ścieżki.

Dokładny remis
Disallow: /files/7 znakówAllow: /files/7 znaków

Ta sama długość, więc wygrywa Allow: Google stosuje „regułę najmniej restrykcyjną”.

Przykładowy plik należy do www.example.org, wymyślonej witryny: żaden prawdziwy robots.txt nie jest tu pokazany jako zepsuty.

Jedyne dwa symbole wieloznaczne: `*` i `$`

* oznacza dowolny ciąg znaków, a $ koniec adresu URL. Nic więcej: żadnych wyrażeń regularnych i żadnego specjalnego znaczenia dla ?, ., [ ani +, które są zwykłymi znakami.

Reguła bez $ jest prefiksem, więc Disallow: /admin blokuje też /administrator i /admin-tools. Dodaj ukośnik na końcu (/admin/), gdy chodzi ci o katalog, a $, gdy chodzi dokładnie o ten adres. Disallow: /*.pdf$ blokuje każdy plik PDF; Disallow: /*? blokuje każdy adres URL z ciągiem zapytania.

Tester URL powyżej pokazuje ścieżki, które reguła obejmuje także, z tego samego mechanizmu dopasowania, który wydał werdykt, więc reguła sięgająca dalej, niż chciałeś, jest widoczna, zanim ją opublikujesz.

* i $ oraz to, co naprawdę obejmuje każdy wzorzec
WzorzecObejmujeNie obejmuje
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ i + to zwykłe znaki. W robots.txt nie ma wyrażeń regularnych.

Co oznacza kod stanu twojego robots.txt?

4xx i 5xx przy tym samym zepsutym pliku dają przeciwne skutki. 4xx jest traktowany tak, jakby pliku nie było, więc robot może pobrać wszystko. 5xx oznacza, że plik jest nieokreślony, więc robot zgodny ze standardem nie może pobrać niczego.

RFC 9309 §2.3.1.3: jeśli kod stanu mówi, że plik „jest niedostępny dla robota, robot MOŻE uzyskać dostęp do dowolnych zasobów na serwerze”. §2.3.1.4: jeśli „jest nieosiągalny z powodu błędów serwera lub sieci… robot MUSI przyjąć całkowity zakaz”. Google traktuje „wszystkie błędy 4xx oprócz 429 tak, jakby prawidłowy plik robots.txt nie istniał”, co stawia 429 po stronie 5xx.

Potem Google łagodzi przypadek 5xx własną drabiną: przez pierwsze 12 godzin przestaje skanować, przez kolejne 30 dni używa ostatniej prawidłowej kopii, a potem, jeśli reszta witryny działa, zachowuje się tak, jakby pliku robots.txt w ogóle nie było. Google podąża za co najmniej pięcioma skokami przekierowań, potem przerywa i „przyjmuje dla pliku robots.txt kod 404”, co oznacza swobodne skanowanie. A nazwa, której nie ma w DNS, to nie witryna, która kogokolwiek blokuje — nie ma tam pliku ani werdyktu.

Co każda odpowiedź na GET /robots.txt oznacza dla całej witryny
Serwer odpowiadaRobot wtedy
200Przestrzega reguł z pliku.
301, 302Podąża za co najmniej pięcioma skokami, potem przerywa. Google traktuje wtedy plik jak 404.
403, 404Skanuje wszystko, jakby pliku nie było.
429Nie skanuje niczego. Google zalicza ten kod do odpowiedzi 5xx, a nie 4xx.
500, 503Według standardu nie skanuje zupełnie niczego.
Nie ma takiej nazwyNie ma witryny do odczytania, więc nie ma werdyktu.
Co Google robi z 5xx, dzień po dniu
  1. 1Pierwsze 12 godzinPrzestaje skanować witrynę i wciąż ponawia próby pobrania pliku
  2. 2Do 30 dniUżywa ostatniej prawidłowej kopii robots.txt
  3. 3Po 30 dniachJeśli witryna działa, zachowuje się tak, jakby nie było robots.txt

Czy robots.txt chroni stronę przed indeksowaniem w Google?

Nie. Prosi robota, żeby nie pobierał strony; nie prosi wyszukiwarki, żeby nie umieszczała jej w wynikach. Google nie odczyta zablokowanych stron, ale „nadal może indeksować ich adresy URL i wyświetlać je w wynikach wyszukiwania bez fragmentu treści”, gdy linkują do nich inne strony.

Tak wygląda status Search Console „Strona zindeksowana, ale zablokowana przez plik robots.txt”: „Google nie wyśle żądania skanowania strony ani jej nie zeskanuje, ale może ją zindeksować, wykorzystując informacje z innej strony, która zawiera do niej link”. Rozwiązanie Google, jego własnymi słowami: „usuń blokadę z pliku robots.txt i użyj dyrektywy noindex”.

Dlatego najczęstszy błąd w robots.txt to para, a nie pojedynczy wiersz: adres URL, który jest tu jednocześnie zablokowany i ma noindex. Google mówi to wprost: „Jeśli zablokujesz stronę w pliku robots.txt lub będzie ona niedostępna dla robota, nie odnajdzie on reguły noindex i możliwe, że strona będzie się w dalszym ciągu wyświetlać w wynikach wyszukiwania”. Wybierz jedno: zablokuj skanowanie albo wpuść robota i powiedz mu, żeby nie indeksował.

Dlaczego zablokowana strona może się pojawić w Google i dlaczego jej noindex nigdy nie zostaje odczytany
  1. Robot
  2. Czyta robots.txt
  3. Adres URL jest zablokowany
  4. Nie pobiera strony
Sama strona<meta name="robots" content="noindex">Nigdy nie zostaje odczytany
Inna witryna do niej linkuje
Indeks wyszukiwarkiAdres URL, bez opisu
Search Console nazywa toStrona zindeksowana, ale zablokowana przez plik robots.txt

Żeby strona nie trafiła do indeksu: wpuść robota i użyj noindex albo wymagaj logowania.

Jak zablokować ChatGPT, Claude i inne roboty AI?

Zwykłą grupą dla każdego z nich. Firmy AI publikują tokeny produktów dokładnie tak jak wyszukiwarki, a większość z nich ma kilka robotów: jednego do trenowania, jednego do odpowiadania na pytania z linkiem zwrotnym i jednego, który pobiera stronę, bo poprosiła o nią konkretna osoba.

Warto je od siebie odróżniać. Zablokowanie robota trenującego trzyma twoje strony z dala od modelu; zablokowanie robota od odpowiedzi usuwa cię też z cytowań, które pokazują te produkty. Widok Roboty powyżej podaje cel każdego z nich, jego token i to, czego według dokumentacji operatora przestrzega, więc możesz odmówić trenowania, nie znikając z odpowiedzi AI.

Niektórzy operatorzy mówią wprost, że robot pobierający stronę w imieniu jednej osoby może ignorować robots.txt, bo działa na rzecz użytkownika, a nie skanuje. Tabela je oznacza. A wiersze Content-Signal od Cloudflare, które publikuje coraz więcej witryn, to deklaracja, do czego wolno używać twoich treści, a nie reguła skanowania: ta strona je zachowuje i wyjaśnia, zamiast nazywać je błędem.

Trzy zadania robotów AI i to, co każdy operator mówi o robots.txt
OperatorTrenowanieOdpowiedzi AIProśba jednej osoby
OpenAIGPTBotPrzestrzegaOAI-SearchBotPrzestrzegaChatGPT-UserMoże ignorować
AnthropicClaudeBotPrzestrzegaClaude-SearchBotPrzestrzegaClaude-UserPrzestrzega
PerplexityBrak takiego robotaPerplexityBotPrzestrzegaPerplexity-UserMoże ignorować
GoogleGoogle-ExtendedTylko tokenBrak takiego robotaBrak takiego robota
AppleApplebot-ExtendedTylko tokenBrak takiego robotaBrak takiego robota
Metameta-externalagentPrzestrzegameta-webindexerPrzestrzegameta-externalfetcherMoże ignorować
AmazonAmazonbotPrzestrzegaBrak takiego robotaAmzn-UserMoże ignorować
  • TrenowanieZbiera strony do trenowania modelu.
  • Odpowiedzi AIPobiera strony, żeby odpowiedzieć na pytanie, zwykle z linkiem do ciebie.
  • Prośba jednej osobyPobiera jedną stronę, bo ktoś o nią poprosił. Niektórzy operatorzy mówią, że ten robot może ignorować robots.txt.

Crawl-delay, Clean-param, Host i Content-Signal: kto co czyta?

Google czyta cztery pola i żadnych innych: user-agent, allow, disallow i sitemap. Wszystko inne w robots.txt czyta ktoś inny albo nikt — a nieznany wiersz nigdy nie jest błędem.

Google wymienia swoje cztery pola i dodaje, że „inne pola, np. crawl-delay, nie są obsługiwane”. Bing obsługuje Crawl-delay, co potwierdza jego własny blog: „dyrektywa crawl-delay przyjmuje jako wartości tylko dodatnie liczby całkowite”. Clean-param należy do Yandex i do nikogo innego. Host nie występuje ani w standardzie, ani na liście Google.

Żadna z nich nie psuje pliku. RFC 9309 stanowi, że parsowanie innych rekordów „NIE MOŻE zakłócać parsowania rekordów zdefiniowanych wprost”, więc robot, który nie zna danego wiersza, po prostu go pomija. Dwie dyrektywy, które naprawdę są martwe, to noindex i nofollow w robots.txt: Google wycofał kod, który je obsługiwał, w 2019 roku i dziś w Google nie robią one nic.

Która wyszukiwarka czyta którą dyrektywę
DyrektywaGoogleBingYandex
User-agentCzytaCzytaCzyta
AllowCzytaCzytaCzyta
DisallowCzytaCzytaCzyta
SitemapCzytaCzytaCzyta
Crawl-delayIgnorujeCzytaNiepotwierdzone
Clean-paramIgnorujeIgnorujeCzyta
HostIgnorujeIgnorujeNiepotwierdzone
noindexIgnorujeNiepotwierdzoneNiepotwierdzone
Content-SignalIgnorujeNiepotwierdzoneNiepotwierdzone
  • Google obsługuje cztery pola i mówi to wprost: user-agent, allow, disallow i sitemap.
  • Własny blog Bing potwierdza Crawl-delay. Nie podajemy dla niego zakresu ani jednostki: aktualnej strony pomocy Bing nie udało się odczytać, żeby je sprawdzić.
  • Wycofany przez Google w 2019 roku i nigdy niebędący częścią standardu.
  • Content Signals Policy od Cloudflare: deklaracja, jak wolno używać treści, a nie reguła skanowania.

Limit 500 KiB i to, co leży za nim

Google czyta pierwsze 500 kibibajtów pliku robots.txt i ignoruje wszystko dalej, nigdzie nie zgłaszając błędu. RFC 9309 ustala 500 KiB jako dolną granicę limitu parsowania robota; Google podaje tę wartość jako górną granicę.

Google: „W Google obowiązuje limit rozmiaru pliku robots.txt wynoszący 500 kibibajtów (KiB). Po przekroczeniu maksymalnego rozmiaru pliku dalsza treść jest ignorowana”. Nic cię nie ostrzeże. Plik o rozmiarze 600 KiB nie jest nieprawidłowy — jego ostatnie 100 KiB po prostu nie istnieje dla robota Googlebot, a Disallow w tamtym miejscu niczego nie chroni.

Witryny dochodzą do tej granicy częściej, niż myślisz: jedna reguła na każdy parametr kampanii, na każdy filtr fasetowy, na każdy stary katalog testowy. Sprawdzenie powyżej mierzy plik względem tej granicy i mówi, ile leży za nią. Zastąp długie listy wzorcami (Disallow: /*?filter=) i umieść najważniejsze reguły na górze.

robots.txt o rozmiarze 640 KiB: ostatnie 140 KiB nie istnieje dla Google
Czytane przez GoogleIgnorowane, bez ostrzeżenia
Disallow: /cart/ · Wiersz 12Przestrzegana
Disallow: /private/ · Wiersz 9412Nigdy nie zostaje odczytana

Plik nadal odpowiada 200 i nadal się parsuje. Nic nigdzie nie mówi, że resztę odrzucono.

Częste błędy w robots.txt i jak je znaleźć

Większość zepsutych plików robots.txt psuje się na jeden z sześciu sposobów i żaden z nich nie wychodzi na jaw, dopóki ktoś go nie przetestuje: plik nadal odpowiada 200, nadal się parsuje i nadal wygląda dobrze.

Ten, który zna każdy, to Disallow: / pozostawione po wersji testowej, gdy witryna rusza publicznie. Pozostałe pięć: reguła, która sięga dalej, niż chciałeś, jak Disallow: /admin, która obejmuje też /administrator; Allow: / pod *, które nazwana grupa po cichu ignoruje; wiersz Sitemap: zapisany jako ścieżka zamiast pełnego adresu; ścieżka bez ukośnika na początku, która niczego nie dopasowuje; oraz wiersz noindex, którego Google przestał czytać w 2019 roku.

Uruchom sprawdzenie powyżej, a potem przeczytaj widok Problemy: każdy problem stoi przy swoim wierszu pliku, razem z tym, co z nim zrobić. Jeśli edytujesz plik, a nie go audytujesz, generator robots.txt napisze plik, który ten sam tester już przeczytał.

Źródła

Sześć błędów w robots.txt i to, co każdy z nich naprawdę robi
Wiersz, jak go zapisanoCo się naprawdę dzieje
Disallow: /Pozostałość po wersji testowej: cała działająca witryna jest zamknięta dla każdego robota.
Disallow: /adminBlokuje też /administrator i /admin-tools. Dodaj ukośnik na końcu.
Allow: / pod User-agent: *Robot, który ma własną grupę w dowolnym miejscu pliku, nigdy tego nie czyta.
Sitemap: /sitemap.xmlWiersz Sitemap musi być pełnym adresem z hostem.
Disallow: adminŚcieżka zaczyna się od /. Ta reguła niczego nie dopasowuje.
noindex: /private/Martwe od 2019 roku. Strona nadal może być skanowana i indeksowana.

Test robots.txt: częste pytania

Co się stało z testerem robots.txt od Google i jak teraz sprawdzić robots.txt?

Google go wycofał. 15 listopada 2023 roku Search Central ogłosił raport dotyczący pliku robots.txt w Search Console i wycofanie testera, który przestał działać w grudniu tego samego roku. Raport pokazuje pliki pobrane przez Google dla zweryfikowanych przez ciebie witryn, z rozmiarem i liczbą problemów, ale nie przetestuje adresu URL względem reguły. Sprawdzanie adresu URL w Search Console powie, czy któraś z twoich własnych stron jest zablokowana; dla każdej innej witryny, dowolnego robota albo reguły, którą dopiero chcesz opublikować, potrzebujesz osobnego testera.

Dlaczego moje Allow: / pod User-agent: * jest ignorowane?

Bo robot przestrzega dokładnie jednej grupy. Jeśli plik ma grupę z własnym tokenem tego robota, to jest jedyna grupa, którą on czyta, a grupa * jest całkowicie pomijana — to rozwiązanie awaryjne, a nie dodatek. Grupy łączą się tylko wtedy, gdy kilka z nich wymienia ten sam token. Tester URL powyżej pokazuje, którą grupę wybrano dla każdego robota i dlaczego nie wybrano pozostałych.

Czy robots.txt chroni stronę przed zaindeksowaniem?

Nie. Steruje skanowaniem, a nie indeksowaniem. Google może zaindeksować zablokowany adres URL, którego nigdy nie pobrał, korzystając z tekstu stron, które do niego linkują, i pokazuje go bez opisu. Search Console nazywa to „Strona zindeksowana, ale zablokowana przez plik robots.txt”. Żeby strona nie trafiła do wyników wyszukiwania, pozwól robotowi ją pobrać i wyślij metatag noindex albo nagłówek X-Robots-Tag, albo ukryj stronę za logowaniem.

Dlaczego mój noindex nie działa?

Najczęściej dlatego, że ten sam adres URL jest też zablokowany w robots.txt. Robot, któremu zakazano pobierania strony, nie widzi na niej niczego, noindex też nie, więc strona może dalej pojawiać się w wynikach wyszukiwania dzięki linkom z innych miejsc. Google mówi to wprost: „aby reguła noindex działała poprawnie, nie możesz blokować strony lub zasobu w pliku robots.txt”. Usuń wiersz Disallow i zostaw noindex.

Co oznacza 404 dla robots.txt? A 500?

Przeciwne rzeczy. 404 i każdy inny kod 4xx jest traktowany tak, jakby pliku nie było, więc robot może pobrać z witryny wszystko — tak mówi RFC 9309 §2.3.1.3. Odpowiedź z zakresu 500 oznacza, że plik jest nieosiągalny, a nie nieobecny, a §2.3.1.4 mówi, że robot musi wtedy przyjąć całkowity zakaz i nie pobierać niczego. Google zalicza 429 do błędów serwera i przez 30 dni trzyma ostatnią prawidłową kopię, zanim z niej zrezygnuje.

Jeśli pasują i Allow, i Disallow, która reguła wygrywa?

Ta, której ścieżka jest dłuższa. RFC 9309 mówi, że trzeba użyć najbardziej szczegółowego dopasowania, mierzonego w oktetach, a Google opisuje tę samą zasadę. Rodzaj reguły rozstrzyga dopiero wtedy, gdy obie ścieżki mają dokładnie tę samą długość, i wtedy wygrywa Allow — Google stosuje „regułę najmniej restrykcyjną”. Tester powyżej wskazuje zwycięską regułę i regułę, z którą wygrała, z numerami obu wierszy.

Jakie symbole wieloznaczne działają w robots.txt?

Dwa i ani jednego więcej. * oznacza dowolny ciąg znaków, a $ koniec adresu URL. Wszystko inne jest dosłowne: ?, ., [, ] i + pasują same do siebie i nie ma wyrażeń regularnych. Reguła bez $ jest prefiksem, więc Disallow: /admin obejmuje też /administrator. W ścieżkach wielkość liter ma znaczenie, a w nazwach dyrektyw, takich jak Disallow, nie ma.

Czy Google obsługuje Crawl-delay?

Nie. Google wymienia cztery obsługiwane pola — user-agent, allow, disallow i sitemap — i mówi wprost, że pola takie jak crawl-delay nie są obsługiwane. Bing go czyta: według jego własnego bloga ta dyrektywa przyjmuje tylko dodatnie liczby całkowite. Wiersz Crawl-delay nie szkodzi, ale nie spowolni robota Googlebot, a Search Console nie ma już też ustawienia szybkości skanowania.

Jak duży może być plik robots.txt?

Google czyta pierwsze 500 kibibajtów i ignoruje wszystko dalej, po cichu: bez błędu i bez ostrzeżenia w Search Console. RFC 9309 ustala 500 KiB jako minimum, które robot musi przeanalizować, a Google podaje tę wartość jako swoje maksimum. Jeśli twój plik zbliża się do tej granicy, zastąp długie listy pojedynczych adresów URL wzorcami i przenieś najważniejsze reguły na górę. Ten tester mierzy twój plik względem tej granicy.

Jak zablokować roboty AI, takie jak GPTBot i ClaudeBot?

Daj każdemu z nich własną grupę z Disallow: /, dokładnie tak jak wyszukiwarce. Większość firm AI ma kilka robotów z różnymi zadaniami: jednego do trenowania, jednego do odpowiadania na pytania z linkiem do ciebie i jednego, który pobiera pojedynczą stronę w imieniu konkretnej osoby. Widok Roboty powyżej podaje każdy token, jego cel i to, czego według operatora przestrzega, więc możesz odmówić trenowania, nie tracąc cytowań w AI.

Czy test robots.txt to to samo co walidacja?

Częściowo się pokrywają. Walidacja patrzy na sam plik: składnię, nieznane dyrektywy, błędne ścieżki, wiersz Sitemap, który nie jest pełnym adresem. Test odpowiada też na pytanie, które naprawdę masz — czy ten robot może pobrać ten adres URL i która reguła o tym mówi. Ta strona robi jedno i drugie, a do tego dodaje dwie rzeczy, których sam plik ci nie powie: co znaczy jego kod stanu i ile z niego leży za granicą 500 KiB.

Czy robots.txt to zagrożenie dla bezpieczeństwa?

To nie jest zabezpieczenie. Plik jest publiczny i każdy może go przeczytać, więc Disallow: /admin-backup/ to drogowskaz prowadzący dokładnie do tego, co chciałeś ukryć. Nic w nim nie blokuje dostępu; robot przestrzega go tylko dlatego, że tak zdecydował jego operator. Chroń prywatne ścieżki uwierzytelnianiem albo regułą firewalla, a ten tester wskaże w twoim pliku ścieżki, które wyglądają jak zaproszenie.

Czegoś brakuje?Zaproponuj funkcję lub nowe narzędzie

Więcej narzędzi do skanowania i indeksowania