Popüler araçlar

Tema

Robots.txt Oluşturucu

Güvenebileceğiniz bir robots.txt oluşturun: her kural siz yazarken açıklanır, dosya robots.txt test aracımız tarafından RFC 9309'a ve Google'ın kendi yorumuna göre geri okunur ve yayımlamadan önce her tarayıcı ve her yol için anında bir karar görürsünüz.

WordPress, Shopify, Next.js ve Google belgelerinden oluşturulan hazır ayarlar · her işletmecinin belgelediği tarayıcılar, amaca göre · karar veren kural ve satırı · web tarayıcınızda yazılır, hiçbir şey yüklenmez
Web tarayıcınızda yazılır ve kontrol edilir

Her ana makine ve protokol için bir dosya: www.example.com ve example.com ayrı ayrı birer dosya ister.

Hazır ayarla başlayın
Ne yapar
  • Her tarayıcı sitedeki her URL'yi getirebilir.
  • Sitemap: satırı tarayıcıları sitemap dosyanıza yönlendirir.
Ne yapmaz
  • Hiçbir şeyi gizli tutmaz: robots.txt herkese açık bir dosyadır ve bir kilit değil, bir ricadır.
  • Bir arama motorundan sayfayı dizine eklemesini istemez. Tarama ve dizine ekleme ayrı şeylerdir.

Kaynak: RFC 9309, okunma tarihi: 26 Ekim 2026.

Kurallar

Diğer tüm tarayıcılar

User-agent: *

Kendine ait grubu olmayan her tarayıcı bu grubu okur.

  • Sitenin tamamına izin verir.
Google bunu yok sayar; Bing okur.

Amaca göre tarayıcılar

Bilinen her tarayıcının ne alacağını seçin. Kendine ait grubu olan bir tarayıcı yalnızca o grubu okur.

Arama motorları8

Bu tarayıcılar bir arama dizini oluşturmak için tarar. Engellenen sayfalar başka yerlerdeki bağlantılar üzerinden yine de listelenebilir, ama içlerinden hiçbir şey okunmadan.

  • GooglebotGoogleEvet, işletmecisine göre
  • Storebot-GoogleGoogleEvet, işletmecisine göre
  • BingbotMicrosoftEvet, işletmecisine göre
  • ApplebotAppleEvet, işletmecisine göre
  • Amzn-SearchBotAmazonEvet, işletmecisine göre
  • DuckDuckBotDuckDuckGoEvet, işletmecisine göre
  • YandexBotYandexEvet, işletmecisine göre
  • BaiduspiderBaiduİşletmecisi belirtmiyor
Yapay zekâ eğitimi6

Bu tarayıcılar model eğitmek için sayfa toplar. Ayrı bir belirteç, arama sonuçlarında görünmeye devam ederken eğitimi reddetmenizi sağlar.

  • Google-ExtendedGoogleYalnızca bir belirteç, hiçbir istekte gönderilmez
  • GPTBotOpenAIEvet, işletmecisine göre
  • ClaudeBotAnthropicEvet, işletmecisine göre
  • Applebot-ExtendedAppleYalnızca bir belirteç, hiçbir istekte gönderilmez
  • meta-externalagentMetaEvet, işletmecisine göre
  • AmazonbotAmazonEvet, işletmecisine göre
Yapay zekâ yanıtları4

Bu tarayıcılar soruları size geri bağlantı vererek yanıtlamak için sayfa getirir.

  • OAI-SearchBotOpenAIEvet, işletmecisine göre
  • Claude-SearchBotAnthropicEvet, işletmecisine göre
  • PerplexityBotPerplexityEvet, işletmecisine göre
  • meta-webindexerMetaEvet, işletmecisine göre
Bir kişi için getirilen5

Bu tarayıcılar bir kişi istediği için tek bir sayfa getirir; bu yüzden bazı işletmeciler robots.txt'i yok sayabileceklerini söyler.

Bunları reddetmek bir taramayı değil, bir kişiyi reddetmektir: biri bir yapay zekâ asistanından sayfalarınızdan birini açmasını istediğinde, dosyaya uyan bir asistan o sayfayı bu kişi için okumaz. Kastettiğiniz eğitimse yukarıdaki eğitim tarayıcılarını reddedin.

  • ChatGPT-UserOpenAIHer zaman değil, işletmecisine göre
  • Claude-UserAnthropicEvet, işletmecisine göre
  • Perplexity-UserPerplexityHer zaman değil, işletmecisine göre
  • meta-externalfetcherMetaHer zaman değil, işletmecisine göre
  • Amzn-UserAmazonHer zaman değil, işletmecisine göre
Önizlemeler, reklamlar ve diğerleri8

Bağlantı önizlemeleri, site sahibi araçları, reklam kontrolleri, arşivler ve işletmecisi başka bir iş belirten ya da hiçbir şey belirtmeyen tarayıcılar.

  • Google-InspectionToolGoogleEvet, işletmecisine göre
  • GoogleOtherGoogleEvet, işletmecisine göre
  • AdsBot-GoogleGoogleEvet, işletmecisine göre
  • OAI-AdsBotOpenAIİşletmecisi belirtmiyor
  • facebookexternalhitMetaHer zaman değil, işletmecisine göre
  • meta-externaladsMetaEvet, işletmecisine göre
  • BytespiderByteDanceİşletmecisi belirtmiyor
  • CCBotCommon CrawlEvet, işletmecisine göre

Sitemap'ler

  • Sitenizi yukarıya yazın, bu alan kendiliğinden dolar.

Dosya

1 uyarı

robots.txt dosyanız/robots.txt

2 satır
  1. User-agent: *
  2. Allow: /

HataUyarıNot23 B / 500 KiB

Test aracının bulguları

1 uyarı

  • Sitemap satırı yokUyarı

    Ne yapmalı Dosyadaki en zahmetsiz satırdır ve her tarayıcı onu okur. Sitemap dosyanızın tam adresiyle bir Sitemap: satırı ekleyin.

Yayımlamadan önce test edin

Bir tarayıcı ve bir yol seçin: karar, kararı veren kural ve tarayıcının okuduğu grup, Robots.txt Test Aracı'nın kendi eşleştiricisinden gelir.

Bir yol deneyin
Tarayıcı

  • Bu tarayıcı URL'yi isteyebilir.

    Seçilen grup

    User-agent: *başlangıç: satır 1

    Hiçbir grupta bu tarayıcının adı geçmiyor, bu yüzden * grubu uygulanıyor.

    Karar veren kural

    Allow: /satır 2

    Aynı kural şunları da yakalar

    /any-page

    Karşılaştırılan

    /

    Yalnızca yol ve sorgu, yüzde kodlamasından sonra bayt bayt karşılaştırılır. Ana makine, protokol ve # işaretinden sonraki kısım hiçbir zaman bir kurala dahil değildir.

Robots.txt dosyası nasıl oluşturulur?

Kuralları yazın, bunları UTF-8 olarak kodlanmış ve robots.txt adını taşıyan düz bir metin dosyası olarak kaydedin ve sitenizin en üst düzeyine yükleyin; böylece dosya https://example.com/robots.txt adresinde yanıt verir. Gönderilecek bir şey yoktur: tarayıcılar bu adresi kendileri ister.

Google bunu üç cümleyle söyler: “Dosya, robots.txt olarak adlandırılmalıdır. Sitenizde yalnızca bir robots.txt dosyası olabilir. Robots.txt dosyası, geçerli olacağı sitenin ana makinesinin kök dizininde bulunmalıdır.” Dosya “UTF-8 olarak kodlanmış metin dosyası” olmalıdır ve “Google'ın tarayıcıları robots.txt dosyanızı otomatik olarak bulup kullanmaya başlar.”

Yukarıdaki oluşturucu bir hazır ayarla başlar, her kuralı siz yazarken açıklar ve sonucu siz kopyalamadan önce robots.txt test aracımızın ayrıştırıcısı ve eşleştiricisiyle geri okur. İndirilen dosyanın adı robots.txt olur: bayt sırası işareti olmadan UTF-8, yalnızca satır besleme karakterleri ve sizin istemediğiniz hiçbir tarih ya da yorum yok.

Kurallardan çalışan bir robots.txt dosyasına dört adım
  1. 1Kuralları yazınBir hazır ayarla başlayın, sonra sitenizin ihtiyaç duyduğu grupları ve yolları ekleyin.
  2. 2robots.txt olarak kaydedinDüz metin, UTF-8, bayt sırası işareti yok.
  3. 3Kök dizine yükleyinDosya, ana makinenin en üst düzeyinde yanıt vermelidir:https://example.com/robots.txt
  4. 4Test edinYayımlamadan önce burada, ardından canlı dosyayı Robots.txt Test Aracı ile.

Gönderme adımı yoktur: Google'ın tarayıcıları dosyayı kendileri bulur.

Robots.txt oluşturucu: WordPress hazır ayarı, her kuralın açıklaması, satır numaralı dosya ve bulgularRobots.txt oluşturucu: WordPress hazır ayarı, her kuralın açıklaması, satır numaralı dosya ve bulgularHazır ayarın yaptıklarıVe yapmadıkları: bu hazır ayarların hiçbiri bir sayfayı Google'ın dışında tutmaz ve her biri bunu açıkça söyler.Her kural açıklanırBir kuralın engellediği ve kaçırdığı yollar, her kararı veren eşleştiricinin aynısından; bir de istisna açan daha uzun kural.Dosya ve bulgularıSatır numaralarıyla dosya; siz kopyalamadan önce Robots.txt Test Aracı'nın kendi denetimiyle geri okunur.KararBir tarayıcı ve bir yol seçin: izinli mi engelli mi, karar veren kural ve satırı, tarayıcının okuduğu grup.
Oluşturucudaki WordPress hazır ayarı: hazır ayarın ne yaptığı ve ne yapmadığı, eşleştiriciden gelen kural açıklamaları, yayımlanacağı hâliyle dosya ve bir tarayıcı ile bir yol için karar. Her bölümün neyi gösterdiğini görmek için bir numara seçin.

Bir robots.txt dosyasında satır satır neler bulunur?

Gruplar ve Sitemap satırları. Bir grup, tarayıcıları adlandıran bir veya daha fazla User-agent satırıyla başlar ve ardından bu tarayıcıların uyduğu Allow ve Disallow kuralları gelir; bir Sitemap satırı ise tüm grupların dışında, tek başına durur.

RFC 9309 bir grubu “ardından bir veya daha fazla kural gelen bir veya daha fazla user-agent satırı” olarak tanımlar ve bir tarayıcı tam olarak tek bir gruba uyar: kendi ürün belirtecinin geçtiği gruba ya da hiçbir grupta adı geçmiyorsa * grubuna. Google dört alanı okur, başkasını okumaz: user-agent, allow, disallow ve sitemap.

Yönerge adları büyük/küçük harfe duyarsızdır, yollar ise duyarlıdır: Google'ın kendi örneğinde disallow: /file.asp, /file.asp için geçerlidir “ancak” /FILE.asp için geçerli değildir. Bir Sitemap: satırı, protokol ve ana makine dahil tam bir adres olmalıdır; bu oluşturucu başka türlüsünü reddeder ve nedenini söyler.

Satır satır bir robots.txt
robots.txt
  1. 1User-agent: *Kendine ait grubu olmayan her tarayıcı için bir grup başlatır
  2. 2Disallow: /cart/Bu tarayıcıların getirmemesi gereken bir yol
  3. 3Allow: /cart/helpBir istisna: Disallow kuralından daha uzun, bu yüzden kazanır
  4. 4
  5. 5User-agent: GPTBotİki tarayıcıyı adlandıran bir grup başlatır
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /İkisi de sitenin tamamından reddedilir
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlTüm grupların dışında: tam bir adres

Allow mu Disallow mu, * ve $: bir kural nasıl eşleşir?

Bir URL ile birden fazla kural eşleştiğinde, türü ne olursa olsun yolu en uzun olan kazanır; eşitlikte Allow kazanır. * herhangi bir karakter dizisinin yerini tutar, $ ise URL'nin sonunu belirtir; bir yolda başka hiçbir şeyin özel anlamı yoktur.

RFC 9309: “Bulunan en spesifik eşleşme KULLANILMALIDIR. En spesifik eşleşme, en çok oktete sahip eşleşmedir” ve “bir allow kuralı ile bir disallow kuralı eşdeğerse allow kuralının kullanılması ÖNERİLİR.” WordPress'in kendi dosyası da böyle çalışır: Disallow: /wp-admin/ klasörü kapatır, daha uzun olan Allow: /wp-admin/admin-ajax.php ise içindeki tek bir dosyayı açar.

$ içermeyen bir kural bir ön ektir, bu yüzden Disallow: /admin aynı zamanda /administrator yolunu da engeller; klasörü kastediyorsanız eğik çizgiyi ekleyin (/admin/). Yukarıdaki düzenleyici her kuralın altında, kuralın yakaladığı yolları ve yakalamadığı bazılarını, her kararı veren eşleştiricinin aynısıyla gösterir ve başka bir kuralın her zaman üstün geldiği bir kuralı işaretler.

* ile $ ve her kalıbın gerçekte yakaladıkları
KalıpYakalarYakalamaz
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ ve + sıradan karakterlerdir. robots.txt'te düzenli ifade yoktur.

Bir URL ile iki kural eşleşiyor: daha uzun yol kazanır
/admin/report.pdf
  • Disallow: /admin/7 karakter
  • Allow: /admin/report.pdf17 karakter

Allow kazanır: yolun daha büyük kısmıyla eşleşir.

Tam bir eşitlik
Disallow: /files/7 karakterAllow: /files/7 karakter

Uzunluklar eşit, bu yüzden Allow kazanır. Google'ın deyişiyle “en az kısıtlayıcı olan kural”.

Örnek dosya, uydurma bir site olan www.example.org'a ait: hiçbir gerçek robots.txt bozuk olarak gösterilmiyor.

WordPress, Shopify ve Next.js için robots.txt

Üçü de zaten bir robots.txt sunar ve yukarıdaki hazır ayarlar her platformun kendi belgelerinin anlattığını yazar: WordPress yönetim alanını reddeder ama admin-ajax.php dosyasına izin verir, Shopify sepetleri, ödeme sayfalarını ve filtrelenmiş ya da sıralanmış koleksiyonları reddeder, Next.js ise app/robots.txt içine koyduğunuz dosyayı sunar.

WordPress dosyasını kodda, do_robots() içinde yazar: User-agent: *, yönetim yolu için bir Disallow, admin-ajax.php için bir Allow ve herkese açık bir sitede WordPress 5.5 sürümünden beri /wp-sitemap.xml için bir Sitemap: satırı. “Arama motorlarının bu siteyi dizine eklemesine engel olmaya çalış” seçeneği açıkken WordPress 5.3 ve sonrası artık Disallow: / yazmaz; bunun yerine bir robots meta etiketi kullanır.

Shopify, varsayılan dosyasının “çoğu mağaza için işe yaradığını” söyler. Yüklenecek bir dosya yoktur: değiştirmek, temanın robots.txt.liquid şablonunu düzenlemek demektir ve Shopify bunu “desteklenmeyen bir özelleştirme” olarak adlandırır. Next.js, app/robots.txt dosyasını yazıldığı gibi sunar ya da dosyayı app/robots.ts üzerinden oluşturur.

WordPress, Shopify ve Next.js ne sunar ve bunu nerede değiştirirsiniz
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

WordPress'in kendisi yazar. Bir eklentiyle veya robots_txt filtresiyle değiştirin.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Shopify'ın varsayılanı. Temanın robots.txt.liquid şablonunda değiştirin.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

app/robots.txt içindeki kendi dosyanız ya da app/robots.ts; /robots.txt adresinde sunulur.

Her dosya, aynı adlı hazır ayarın example.com için yazdığı dosyadır.

Yapay zekâ tarayıcılarını engellemek: gerçekte ne işe yarar?

Tarayıcının adının geçtiği ve altında Disallow: / bulunan bir grup, işletmecisi robots.txt'e uyduğunu söyleyen her tarayıcı için işe yarar, yalnızca onlar için. Bu, tarayıcının uyduğu bir ricadır, bir kilit değil: dosyayı yok sayan bir tarayıcı yine de her sayfayı getirebilir.

Yapay zekâ şirketlerinin çoğu birden fazla tarayıcı çalıştırır, bu yüzden her iş için ayrı karar verin. GPTBot veya ClaudeBot gibi bir eğitim tarayıcısını reddetmek, modeller için sayfa toplayan tarayıcıyı reddeder; OAI-SearchBot veya PerplexityBot gibi bir yanıt tarayıcısını reddetmek ise sizi bu asistanların gösterdiği bağlantılardan da çıkarır. Google'ın eğitim belirteci Googlebot değildir: “Google-Extended, bir sitenin Google Arama'ya dahil edilmesini etkilemez ve Google Arama'da sıralama sinyali olarak kullanılmaz.”

Üçüncü tür farklıdır. ChatGPT-User, Claude-User, Perplexity-User ve Amzn-User, bir kişi bir asistandan bir sayfayı açmasını istediği için o tek sayfayı getirir; bu yüzden onları reddetmek o kişiyi reddetmektir ve bazı işletmeciler bu tarayıcıların robots.txt'i zaten yok sayabileceğini söyler. Yukarıdaki tarayıcı listesi bu nedenle onları kendilerine ait bir bölümde tutar.

Yapay zekâ tarayıcılarının üç işi ve her işletmecinin robots.txt hakkında söyledikleri
İşletmeciEğitimYapay zekâ yanıtlarıBir kişinin isteği
OpenAIGPTBotUyarOAI-SearchBotUyarChatGPT-UserYok sayabilir
AnthropicClaudeBotUyarClaude-SearchBotUyarClaude-UserUyar
PerplexityBöyle bir tarayıcı yokPerplexityBotUyarPerplexity-UserYok sayabilir
GoogleGoogle-ExtendedYalnızca belirteçBöyle bir tarayıcı yokBöyle bir tarayıcı yok
AppleApplebot-ExtendedYalnızca belirteçBöyle bir tarayıcı yokBöyle bir tarayıcı yok
Metameta-externalagentUyarmeta-webindexerUyarmeta-externalfetcherYok sayabilir
AmazonAmazonbotUyarBöyle bir tarayıcı yokAmzn-UserYok sayabilir
  • EğitimBir modeli eğitmek için sayfa toplar.
  • Yapay zekâ yanıtlarıBir soruyu yanıtlamak için sayfa getirir, genellikle size geri bağlantı vererek.
  • Bir kişinin isteğiBiri istediği için tek bir sayfa getirir. Bazı işletmeciler bu tarayıcının robots.txt'i yok sayabileceğini söyler.

robots.txt bir sayfayı Google'ın dışında tutmaz: noindex kullanın

robots.txt tarayıcılardan bir sayfayı getirmemelerini ister; bir arama motorundan onu listelememesini istemez. Başka sayfalar ona bağlantı verdiğinde Google “URL'yi dizine ekleyip arama sonuçlarında snippet olmadan gösterebilir”. Bir sayfayı dışarıda tutmak için noindex kullanın ve etiketin okunabilmesi için sayfayı taranabilir bırakın.

Search Console buna “robots.txt tarafından engelleniyor olsa da dizine eklendi” der. Google da açıkça söylüyor: noindex kuralının etkili olabilmesi için sayfanın “robots.txt dosyası tarafından engellenmemesi” gerekir. İzin verilmeyen bir sayfanın kendi noindex etiketi hiçbir zaman görülmez, çünkü tarayıcı sayfayı hiç getirmez.

Bu yüzden yukarıdaki her hazır ayar ne yapmadığını da söyler. Staging hazır ayarındaki Disallow: / kibar tarayıcıları dışarıda tutar, ama herhangi bir yerden bağlantı verilen bir staging URL'si yine de listelenebilir: staging ortamını bir parolanın arkasına koyun ve bu satırı asla canlı siteye taşımayın.

İzin verilmeyen bir sayfa neden yine de Google'da görünebilir ve noindex etiketi neden hiç okunmaz
  1. Tarayıcı
  2. robots.txt dosyasını okur
  3. URL'ye izin verilmiyor
  4. Sayfayı getirmez
Sayfanın kendisi<meta name="robots" content="noindex">Hiç okunmaz
Başka bir site ona bağlantı veriyor
Arama diziniAçıklaması olmayan URL
Search Console bunu şöyle adlandırırrobots.txt tarafından engelleniyor olsa da dizine eklendi

Bir sayfayı dışarıda tutmak için: tarayıcıyı içeri alıp noindex kullanın ya da giriş yapmayı zorunlu kılın.

robots.txt dosyası nerede bulunmalı?

Geçerli olduğu ana makinenin kökünde, /robots.txt olarak; her ana makine ve protokol için bir dosya. https://example.com/robots.txt, https://www.example.com veya https://shop.example.com hakkında hiçbir şey söylemez: her birinin kendi dosyası olmalıdır ve bir klasörün içindeki robots.txt hiçbir zaman okunmaz.

Google: “Robots.txt dosyasını, desteklenen bir protokol üzerinde sitenin en üst düzey dizinine yerleştirmelisiniz.” Search Console'un robots.txt raporu, bir mülkteki ilk 20 ana makinenin dosyalarını ayrı ayrı listeler; HTTP ve HTTPS ayrı sayılır.

Sitenizi oluşturucunun en üstüne yazın: oluşturucu, dosyanın yanıt vermesi gereken tam adresi verir, o ana makine için Sitemap: satırını doldurur ve dosya yayına girdiğinde canlı dosyayı okuyan Robots.txt Test Aracı'na bağlantı verir.

Her ana makine ve protokol için bir robots.txt
Bu dosyaGeçerli olduğu yer
https://example.com/robots.txthttps://example.com üzerindeki her URL
https://www.example.com/robots.txtYalnızca www.example.com: ayrı bir ana makine
http://example.com/robots.txtYalnızca http:// sitesi: ayrı bir protokol
https://shop.example.com/robots.txtYalnızca shop.example.com
https://example.com/blog/robots.txtHiçbir yer: bir klasördeki robots.txt hiçbir zaman okunmaz

Crawl-delay, Host, Clean-param ve Content-Signal

Google bunların hiçbirini okumaz. Crawl-delay yönergesini Bing, Clean-param yönergesini Yandex okur; Host ne standartta ne de Google'ın listesinde yer alır; Cloudflare'in Content-Signal satırı ise neyin taranabileceğini değil, içeriğinizin ne için kullanılabileceğini belirtir.

Google dört alanını sıralar ve “crawl-delay gibi diğer alanlar desteklenmez” diye ekler. Bing'in kendi blogu “crawl-delay yönergesi değer olarak yalnızca pozitif tam sayıları kabul eder” der; bu yüzden düzenleyici kesirli bir değer yazmak yerine onu reddeder. Bing'in güncel yardım sayfası bir aralığı veya birimi doğrulamak için okunamadı, bu yüzden bu sayfa ikisini de belirtmez.

Hiçbiri bir dosyayı bozmaz: RFC 9309'a göre diğer kayıtların ayrıştırılması “açıkça tanımlanmış kayıtların ayrıştırılmasına MÜDAHALE ETMEMELİDİR”. Bu dördünden oluşturucu yalnızca Crawl-delay yazar ve onu kimin okuduğunu belirten bir etiketle yazar.

Hangi arama motoru hangi yönergeyi okur
YönergeGoogleBingYandex
User-agentOkurOkurOkur
AllowOkurOkurOkur
DisallowOkurOkurOkur
SitemapOkurOkurOkur
Crawl-delayYok sayarOkurDoğrulanmadı
Clean-paramYok sayarYok sayarOkur
HostYok sayarYok sayarDoğrulanmadı
noindexYok sayarDoğrulanmadıDoğrulanmadı
Content-SignalYok sayarDoğrulanmadıDoğrulanmadı
  • Google dört alanı desteklediğini açıkça söyler: user-agent, allow, disallow ve sitemap.
  • Bing'in kendi blogu Crawl-delay desteğini doğrular. Bunun için bir aralık veya birim yayımlamıyoruz: Bing'in güncel yardım sayfası birincil kaynak olarak okunamadı.
  • Google tarafından 2019'da kaldırıldı ve hiçbir zaman standardın parçası olmadı.
  • Cloudflare'in Content Signals Policy belgesi: içeriğin nasıl kullanılabileceğine dair bir beyan, tarama kuralı değil.

Yeni yazdığınız robots.txt dosyası nasıl test edilir?

İki kez. Yayımlamadan önce, yukarıdaki Yayımlamadan önce test edin bölümüyle: bir tarayıcı ve bir yol seçin, karar veren kuralı görün. Dosyayı yükledikten sonra canlı dosyada Robots.txt Test Aracı'nı çalıştırın, çünkü sunucunun verdiği yanıt da dosyanın söyledikleri kadar önemlidir.

404 yanıtı veren bir dosya hiç dosya yokmuş gibi okunur, yani her tarayıcı her şeyi alabilir; 500 veya 503 yanıtı veren bir dosya ise standarda uyan bir tarayıcının hiçbir şey almaması gerektiği anlamına gelir. RFC 9309 §2.3.1.4: tarayıcı “tam bir engelleme olduğunu VARSAYMALIDIR”. Google bunu kendi basamaklarıyla yumuşatır; şekilde gösterilmiştir.

Google'ın kendi robots.txt test aracı artık yok: Search Central, 15 Kasım 2023'te aracın kullanımdan kaldırılacağını duyurdu ve onun yerini alan robots.txt raporu, Google'ın getirdiği dosyayı gösterir ama bir URL'yi bir kurala karşı test etmez. Bu testi yukarıdaki oluşturucudaki Yayımlamadan önce test edin bölümü ve robots.txt test aracımız yapar.

GET /robots.txt isteğine verilen her yanıtın tüm site için anlamı
Sunucunun yanıtıTarayıcı bu durumda
200Dosyadaki kurallara uyar.
301, 302En az beş yönlendirme atlamasını izler, sonra durur. Google bundan sonra dosyayı 404 olarak okur.
403, 404Dosya yokmuş gibi her şeyi tarar.
429Hiçbir şey taramaz. Google bunu 4xx yanıtlarıyla değil, 5xx yanıtlarıyla birlikte sayar.
500, 503Standarda göre hiçbir şey taramaz.
Böyle bir ad yokOkunacak bir site yok, bu yüzden karar da yok.
Google'ın bir 5xx karşısında gün gün yaptıkları
  1. 1İlk 12 saatSiteyi taramayı durdurur ve dosyayı getirmeyi denemeye devam eder
  2. 230 güne kadarrobots.txt dosyasının son iyi kopyasını kullanır
  3. 330 günden sonraSite erişilebilir durumdaysa robots.txt yokmuş gibi davranır

Sitelere trafik kaybettiren robots.txt hataları

Pahalıya patlayan hataların her biri kısa tek bir satırdır: staging'den kalma bir Disallow: /, istediğinizden daha ileriye uzanan bir ön ek, yol olarak yazılmış bir Sitemap: satırı, başında eğik çizgi olmayan bir yol ve Google'ın 2019'da okumayı bıraktığı bir noindex satırı.

Her biri siz dosyayı kopyalamadan önce burada yakalanır. Test aracının kendi denetimi siz yazarken çalışır ve bulguları dosyanın altında durur; bir tarayıcının reddedeceği bir satır hiç yazılmaz ve düzenleyici, satırın neden dışarıda bırakıldığını ilgili kural satırında söyler.

Hatalardan biri tek bir satır değil, bir çifttir: burada izin verilmeyen ve sayfada noindex de taşıyan bir URL. Tarayıcı sayfayı hiç getirmez, bu yüzden noindex etiketini hiç görmez ve URL arama sonuçlarında kalabilir. Birini seçin: taramayı engelleyin ya da tarayıcıyı içeri alıp ona dizine eklememesini söyleyin.

Kaynaklar

Altı robots.txt hatası ve her birinin gerçekte ne yaptığı
Satırın yazıldığı hâliGerçekte olan
Disallow: /Staging'den kalma: canlı sitenin tamamı her tarayıcıya kapalı.
Disallow: /admin/administrator ve /admin-tools yollarını da engeller. Sona eğik çizgi ekleyin.
User-agent: * altında Allow: /Dosyanın herhangi bir yerinde kendi grubu olan bir tarayıcı bunu hiç okumaz.
Sitemap: /sitemap.xmlBir Sitemap satırı, ana makineyi içeren tam bir adres olmalıdır.
Disallow: adminYol / ile başlar. Bu kural hiçbir şeyle eşleşmez.
noindex: /private/2019'dan beri ölü. Sayfa taranabilir ve dizine eklenebilir kalır.

Robots.txt oluşturucu: sık sorulan sorular

Robots.txt dosyasını nasıl oluştururum?

Yukarıdan bir hazır ayar seçin ya da kuralları kendiniz yazın, ardından dosyayı kopyalayın veya indirin. Dosyayı robots.txt adıyla düz UTF-8 metin olarak kaydedin ve sitenizin köküne yükleyin; böylece dosya https://siteniz/robots.txt adresinde yanıt verir. Gönderme adımı yoktur: Google'ın tarayıcıları dosyayı kendileri bulur. Ardından sunucunun 200 yanıtı verdiğini doğrulamak için canlı adreste Robots.txt Test Aracı'nı çalıştırın.

robots.txt dosyasını nereye koymalıyım?

Geçerli olduğu ana makinenin köküne, /robots.txt olarak; asla bir klasörün içine değil, çünkü hiçbir tarayıcı onu orada aramaz. Her ana makine ve protokolün kendi dosyası olmalıdır; bu yüzden example.com, www.example.com ve shop.example.com ayrı birer robots.txt sunar. Shopify'da yüklenecek bir dosya yoktur: temanın robots.txt.liquid şablonunu düzenlersiniz. Next.js'te dosya app klasörüne konur.

Bir robots.txt dosyasına gerçekten ihtiyacım var mı?

Kesin olarak hayır. Bir sitenin robots.txt dosyası yoksa ve adres 404 yanıtı veriyorsa bir tarayıcı her şeyi getirebilir; RFC 9309 buna izin verir. Yine de yalnızca Sitemap satırı için ve tarayıcıları sepetlerden, site içi arama sonuçlarından ya da sonu gelmeyen filtre URL'lerinden uzak tutmak için bir dosyaya sahip olmaya değer. En önemlisi, adresin asla bir sunucu hatası vermemesidir: bir 5xx, standarda uyan bir tarayıcıya hiçbir şey getirmemesini söyler.

robots.txt bir sayfayı Google'dan kaldırabilir mi?

Hayır. Bir tarayıcının sayfayı getirmesini durdurur, Google'ın onu listelemesini değil. Başka yerlerden bağlantı verilen ve izin verilmeyen bir URL yine de dizine eklenip açıklama olmadan gösterilebilir; Search Console'daki durumu “robots.txt tarafından engelleniyor olsa da dizine eklendi” olur. Bir sayfayı dışarıda tutmak için Google'ın onu taramasına izin verin ve bir noindex meta etiketi veya X-Robots-Tag başlığı sunun ya da sayfayı bir girişin arkasına koyun. Aynı URL için Disallow ve noindex'i asla birlikte kullanmayın.

Yapay zekâ tarayıcılarını engellemek Google sıralamamı etkiler mi?

Yapay zekâ eğitimini reddettiğinizde etkilemez. Google'ın model eğitimi için okuduğu belirteç olan Google-Extended, Googlebot'tan ayrıdır ve Google'a göre bir sitenin Google Arama'ya dahil edilmesini etkilemez, sıralama sinyali olarak da kullanılmaz. GPTBot, ClaudeBot veya diğer eğitim tarayıcılarını reddetmek de arama motorları için hiçbir şeyi değiştirmez, çünkü her tarayıcı yalnızca kendi adının geçtiği grubu okur.

ChatGPT-User ve Claude-User engellenmeli mi?

Yalnızca insanları reddetmek istiyorsanız. Bunlar, biri ChatGPT'den veya Claude'dan bir sayfayı açmasını istediği için tek bir sayfa getirir; bu yüzden onları engellemek bir taramayı değil, o kişinin asistanının sayfanızı okumasını durdurur. Bazı işletmeciler bu tarayıcıların robots.txt'i zaten yok sayabileceğini söyler. İtirazınız eğitimeyse bunun yerine GPTBot ve ClaudeBot'u reddedin: “Yapay zekâ eğitimine kapalı” hazır ayarı tam olarak bunu yapar.

Her alt alan adı için ayrı bir robots.txt gerekir mi?

Evet. Bir robots.txt yalnızca sunulduğu ana makine ve protokol için geçerlidir; bu yüzden blog.example.com, shop.example.com ve www.example.com ayrı ayrı kendi dosyasına ihtiyaç duyar ve example.com/robots.txt içindeki kurallar onlara hiçbir zaman ulaşmaz. Search Console'un robots.txt raporu da aynı nedenle dosyaları ana makine başına listeler. Her ana makineyi sırayla oluşturucuya yazın: oluşturucu her biri için doğru Sitemap satırını doldurur.

Google Crawl-delay yönergesini destekliyor mu?

Hayır. Google desteklediği dört alanı (user-agent, allow, disallow ve sitemap) sıralar ve crawl-delay gibi alanların desteklenmediğini söyler. Bing ise onu okur ve Bing'in kendi blogu değerin pozitif bir tam sayı olması gerektiğini söyler; bu oluşturucunun kesirli değerleri reddetmesinin nedeni budur. Bir Crawl-delay satırı zarar vermez ama Googlebot'u yavaşlatmaz ve Search Console'da artık bir tarama hızı ayarı yok.

WordPress'in varsayılan robots.txt dosyasında neler var?

Üç satır ve herkese açık bir sitede bir Sitemap satırı: User-agent: *, /wp-admin/ için bir Disallow, /wp-admin/admin-ajax.php için bir Allow ve WordPress 5.5 sürümünden beri /wp-sitemap.xml için bir Sitemap satırı. WordPress'in kendi do_robots() işlevi tam olarak bunu yazar. Daha uzun olan Allow, Disallow kuralına üstün gelir; böylece admin-ajax.php taranabilir kalır. Tam olarak bu dosyadan başlamak için WordPress hazır ayarını seçin.

robots.txt dosyamı nasıl test ederim?

Yayımlamadan önce bu sayfadaki Yayımlamadan önce test edin bölümünü kullanın: izinli mi engelli mi, karar veren kural ve satırı ile tarayıcının okuduğu grubu görmek için bir tarayıcı ve bir yol seçin. Dosyayı yükledikten sonra canlı sitenizde Robots.txt Test Aracı'nı çalıştırın. Araç gerçek dosyayı getirdiği için sunucunun durum kodunun her tarayıcı için ne anlama geldiğini de söyler.

Allow kuralım neden çalışmıyor?

Genellikle aynı URL ile daha uzun bir Disallow eşleştiği için: türü ne olursa olsun en uzun yol kazanır ve Allow yalnızca eşitlikte kazanır. Ya da tarayıcının kendine ait bir grubu vardır, bu yüzden Allow kuralınızın bulunduğu * grubunu hiç okumaz. Yukarıdaki düzenleyici başka bir kuralın her zaman üstün geldiği kuralı işaretler; Yayımlamadan önce test edin ise karar veren kuralı ve tarayıcının okuduğu grubu gösterir.

Bu oluşturucu ücretsiz mi, dosyamı bir yere yüklüyor mu?

Ücretsizdir; kayıt ve günlük sınır yoktur. Her şey web tarayıcınızda olur: dosya bu sayfada yazılır, ayrıştırılır ve kontrol edilir; yazdığınız hiçbir şey bir yere gönderilmez. Dışarıya giden tek bağlantılar hazır ayarların kaynakları ve Robots.txt Test Aracı'dır; o araç da canlı dosyanızı sunucumuzdan yalnızca siz onu açıp bir kontrol istediğinizde getirir.

Daha fazla tarama ve dizine ekleme aracı