Robots.txt Dosyası Nedir?
Robots.txt dosyası, web sitenizin kök dizinine yerleştirilen (örn. example.com/robots.txt) ve arama motoru tarayıcılarına ve botlara sitenizin hangi sayfalarına veya bölümlerine erişebileceklerini ve erişemeyeceklerini söyleyen düz metin dosyasıdır. Robots Exclusion Protocol standardını takip eder. Tavsiye niteliğinde olsa da (zorunlu değil), Google ve Bing gibi tüm büyük arama motorları robots.txt yönergelerine uyar.
Sitemap oluşturucu ile XML sitemap dosyanızı, link analizi ile sayfa bağlantılarınızı da kontrol edebilirsiniz.
Robots.txt Dosyası Nasıl Oluşturulur
Robots.txt dosyası oluşturmak basittir.
Tümüne İzin, Tümünü Engelle, Standart veya AI Botları Engelle hazır ayarlarından birini seçin ya da sıfırdan başlayın.
Bir kullanıcı ajanı seçin ve belirli yollar için Allow (İzin) veya Disallow (Engelle) yönergeleri ayarlayın.
İsteğe bağlı olarak Sitemap URL'si ve tarama gecikmesi (crawl-delay) ayarlayın.
robots.txt dosyanızı indirin ve web sitenizin kök dizinine yükleyin.
Robots.txt Yönergeleri Referansı
Robots.txt dosyaları tarayıcı davranışını kontrol etmek için çeşitli yönergeler kullanır.
Kuralların hangi tarayıcıya uygulanacağını belirler. '*' tüm tarayıcılar, 'Googlebot' yalnızca Google anlamına gelir.
Belirtilen yola erişimi engeller. Örn: Disallow: /admin/ admin dizinini engeller.
Belirtilen yola erişime açıkça izin verir. Daha geniş bir Disallow kuralını geçersiz kılmak için kullanılır.
XML sitemap dosyanızın konumunu bildirir. Tüm User-agent blokları dışında yer alır.
Robots.txt ile AI Botları Nasıl Engellenir
AI tarayıcılarının içeriğinizi kazımasını engellemek için robots.txt dosyanıza belirli User-agent ve Disallow kuralları ekleyin. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google AI eğitimi) ve CCBot (Common Crawl) en yaygın AI botlarıdır. Oluşturucumuzun 'AI Botları Engelle' hazır ayarı tek tıkla tüm büyük AI bot kurallarını ekler.
Not: robots.txt tavsiye niteliğindedir — iyi niyetli botlar bu kurallara uyar, ancak kötü niyetli botlar görmezden gelebilir. Gerçek erişim kontrolü için sunucu taraflı yöntemler (.htaccess kuralları, güvenlik duvarları) kullanın.
Robots.txt En İyi Uygulamalar
Robots.txt dosyanızı yapılandırırken şu en iyi uygulamaları izleyin: Arama motorlarının dizine eklemesini istediğiniz içeriği engellemeyin. CSS ve JavaScript dosyalarını engellemeyin — Google bunlara sayfalarınızı oluşturmak için ihtiyaç duyar. Gizli içerik için robots.txt'ye güvenmeyin — güvenlik mekanizması değildir. Sitemap yönergesini her zaman ekleyin. Değişiklik yaptıktan sonra HTTP başlık kontrolü ile robots.txt dosyanızın erişilebilir olduğunu doğrulayın.
İlgili Araçlar
Robots.txt oluşturucuya ilişkin diğer DNS Robot araçlarını da kullanabilirsiniz.