Robots.txt Kontrol Aracı Ne İşe Yarar?
Robots.txt, bir web sitesinin kök dizininde (https://example.com/robots.txt) bulunan ve tarayıcılara hangi URL'leri getirebileceklerini söyleyen düz metin dosyasıdır. Tek bir yanlış satır tüm sitenizi Google'dan gizleyebilir ya da dışarıda tutmak istediğiniz sayfaları AI tarayıcılarının okumasına yol açabilir.
Bu robots.txt kontrol aracı dosyayı bir tarayıcının yaptığı gibi indirir, her kuralı Google'ın eşleştirme mantığıyla okur ve herhangi bir URL ile herhangi bir bot için izinli mi yoksa engelli mi olduğunu ve kararı hangi satırın verdiğini gösterir. Google kendi robots.txt Test Aracı'nı Aralık 2023'te Search Console'dan kaldırdı; bu araç, kurallarınızı değiştirmeden önce ve sonra test etmenin hızlı bir yoludur.
Robots.txt Nasıl Test Edilir?
example.com gibi bir alan adı ya da o sayfayı hemen test etmek için tam bir sayfa URL'si yazın. Araç, sitenin kök dizininden /robots.txt dosyasını getirir ve yönlendirmeleri izler.
200 yanıtı kuralların geçerli olduğu anlamına gelir. 404, tarayıcıların her şeyi getirebileceği anlamına gelir. Sunucu hatası ise dosya yeniden yüklenene kadar Google'ın siteyi taramayı durdurmasına yol açar.
/blog/post?id=1 gibi bir yol girin ve bir tarayıcı seçin. İzinli mi yoksa engelli mi olduğunu, eşleşen kuralı ve satır numarasını görürsünüz.
Bir taslağı düzenleyip sonucu anında görmek için robots.txt yapıştır moduna geçin, ardından dosyayı yayınlayın ve canlı dosyayı yeniden kontrol edin.
Advertisement
Tarayıcılar Robots.txt Dosyasını Nasıl Okur?
Google, Bing ve kurallara uyan çoğu tarayıcı, robots hariç tutma standardı olan RFC 9309'u izler. Şu dört kural neredeyse her sonucu belirler:
Bir tarayıcı yalnızca adıyla eşleşen en spesifik User-agent grubuna uyar. Googlebot'un kendi grubu varsa User-agent: * grubunu tamamen yok sayar.
Bir URL ile birden fazla kural eşleştiğinde yolu en uzun olan kural kazanır. /shop/sale/ altındaki sayfalar için Allow: /shop/sale/ kuralı Disallow: /shop/ kuralına üstün gelir.
Bir Allow ve bir Disallow kuralı eşit uzunluktaysa Google daha az kısıtlayıcı olanı, yani Allow kuralını seçer.
* herhangi bir karakter dizisiyle eşleşir, $ ise URL'nin sonunu belirtir. Disallow: /*.pdf$ tüm PDF'leri engeller ama /file.pdf?download=1 adresini engellemez.
Robots.txt HTTP Durum Kodu Ne Anlama Gelir?
Tarayıcılar tek bir kuralı okumadan önce yanıt koduna göre hareket eder. Google her durumu şöyle ele alır:
Dosya okunur ve kurallarına uyulur. Google ilk 500 KiB'ı okur ve sonrasını yok sayar.
Google en az beş yönlendirmeyi izler. Hâlâ bir robots.txt dosyasına ulaşamazsa dosyayı yokmuş gibi değerlendirir.
Hiç robots.txt yokmuş gibi değerlendirilir: her URL taranabilir. 429 Too Many Requests bunun istisnasıdır.
Hata sürdüğü müddetçe Google tüm siteyi engellenmiş sayar. 30 gün sonra önbellekteki son kopyaya döner; kopyası yoksa hiçbir kısıtlama olmadığını varsayar.
Advertisement
Robots.txt ile AI Tarayıcılarını Engelleme
AI şirketleri model eğitimi, AI arama ve isteğe bağlı getirmeler için ayrı tarayıcı adları kullanır; bu sayede birini diğerlerini etkilemeden engelleyebilirsiniz. Google-Extended tarayıcısını engellemek içeriğinizin Gemini için kullanılmasını durdurur ama Google Arama'yı etkilemez; Googlebot tarayıcısını engellemek ise etkiler.
Aracın AI tarayıcıları tablosu, robots.txt dosyanızın 13 AI botundan hangilerine izin verdiğini bir bakışta gösterir. Başlıca eğitim tarayıcılarını engellemek için şunu ekleyin:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Sık Yapılan Robots.txt Hataları
Staging sitesinden kalan bir `Disallow: /` her şeyi engeller. Yeni bir sitenin Google'da hiç görünmemesinin en yaygın nedeni budur.
Sayfaları gizlemek için robots.txt kullanmak. Engellenen bir URL, bağlantılar üzerinden yine de dizine eklenebilir, yalnızca açıklaması olmadan. Bir sayfayı arama sonuçlarından uzak tutmak için taranmasına izin verin ve bir
noindexmeta etiketi veyaX-Robots-Tagbaşlığı ekleyin.robots.txt içinde `Noindex:` satırları. Google bunları Eylül 2019'da desteklemeyi bıraktı; yok sayılırlar.
CSS ve JavaScript'i engellemek. Google sayfaları bir web tarayıcısı gibi oluşturur; engellenen dosyalar sayfalarınızın Google'a bozuk görünmesine neden olabilir.
Yanlış büyük/küçük harf. Yönerge adları büyük/küçük harfe duyarlı değildir ama yollar duyarlıdır:
Disallow: /Admin/,/admin/yolunu engellemez.Tüm alt alan adları için tek dosya. Robots.txt yalnızca kendi ana makinesi ve protokolü için geçerlidir.
blog.example.comkendi dosyasına ihtiyaç duyar.Google için Crawl-delay. Googlebot bunu yok sayar. Bing ise uyar.
Advertisement
Robots.txt Örnekleri
İhtiyacınız olan kalıbı kopyalayın, ardından test etmek için dosyanızın tamamını araca yapıştırın:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlDiğer SEO ve Tarama Araçları
Tarama ayarlarınızın geri kalanını oluşturun ve kontrol edin: