DNS RobotDNS Propagation Checker
BerandaDNSWHOISIPSSL
DNS RobotDNS Propagation Checker

Alat pemeriksaan DNS generasi terbaru

Kebijakan PrivasiKetentuan LayananTentang KamiBlogKontak

Alat DNS

Pencarian DNSTes Kecepatan DNSDomain ke IPPencarian NSPencarian MXLihat semua

Alat Email

Cek EmailPemeriksa Rekaman SPFPemeriksa DMARCPemeriksa DKIMAlat Tes SMTPLihat semua

Alat Website

Cek Website DownPencarian WHOISCek Hosting WebsiteKetersediaan DomainPencari SubdomainLihat semua

Alat Jaringan

Alat PingTraceroutePemeriksa PortPemeriksaan Header HTTPPemeriksaan Sertifikat SSLLihat semua

Alat IP

Pencarian IPIP Saya ApaTes IPv6Tes Kebocoran WebRTCDNS Leak TestLihat semua

Alat Utilitas

Pemindai QR CodePembuat QR CodeUPI QR Code GeneratorWiFi QR Code GeneratorPenerjemah Kode MorseLihat semua
© 2026 DNS Robot. Dikembangkan oleh: ❤ Shaik Brothers
Semua sistem beroperasi normal
Made with
  1. Beranda
  2. /
  3. Alat SEO
  4. /
  5. Robots.txt Checker

Robots.txt Checker & Tester: Cek Robots.txt

Ambil robots.txt dari website mana pun, tes apakah sebuah URL diizinkan atau diblokir untuk Googlebot, Bingbot, dan crawler AI seperti GPTBot, lalu temukan error sintaks baris demi baris. Tempel draf untuk tes robots.txt sebelum Anda memublikasikan perubahannya.

Tes URLGooglebot & Bot AIError per BarisGratis, Tanpa Daftar

Kami mengambil robots.txt dari server kami dengan user agent DNSRobot-SEOChecker dan tidak menyimpan hasilnya. Pengujian URL berjalan di browser Anda.

Advertisement

Apa Fungsi Robots.txt Checker?

Robots.txt adalah file teks biasa di root sebuah website (https://example.com/robots.txt) yang memberi tahu crawler URL mana yang boleh mereka ambil. Satu baris yang salah bisa menyembunyikan seluruh situs dari Google, atau membiarkan crawler AI membaca halaman yang sebenarnya ingin Anda tutup.

Checker ini mengunduh file tersebut seperti yang dilakukan crawler, membaca setiap aturan dengan logika pencocokan Google, lalu memberi tahu Anda untuk URL dan bot apa pun apakah URL itu diizinkan atau diblokir, serta baris mana yang menentukannya. Google menghentikan robots.txt Tester miliknya di Search Console pada Desember 2023, jadi alat ini adalah cara cepat untuk menguji aturan sebelum dan sesudah Anda mengubahnya.

Hasil robots.txt checker: URL diuji terhadap Googlebot, dengan aturan Disallow yang cocok dan nomor barisnya
Uji path apa pun terhadap crawler apa pun: hasilnya menyebutkan aturan dan baris yang menentukannya.

Cara Tes Robots.txt Anda

1
Masukkan website

Ketik domain seperti example.com, atau URL halaman lengkap untuk langsung menguji halaman itu. Checker mengambil /robots.txt dari root situs dan mengikuti redirect.

2
Baca statusnya

Respons 200 berarti aturannya berlaku. 404 berarti crawler boleh mengambil semuanya. Error server membuat Google berhenti meng-crawl situs sampai file bisa dimuat lagi.

3
Tes sebuah URL

Masukkan path seperti /blog/post?id=1 dan pilih crawler. Anda akan melihat status diizinkan atau diblokir, beserta aturan dan nomor baris persis yang cocok.

4
Perbaiki dan tes ulang

Beralih ke Tempel robots.txt untuk mengedit draf dan langsung melihat hasilnya, lalu publikasikan dan periksa lagi file yang sudah live.

Advertisement

Cara Crawler Membaca Robots.txt

Google, Bing, dan sebagian besar crawler yang patuh mengikuti RFC 9309, standar robots exclusion. Empat aturan ini menentukan hampir semua hasil:

User-agentSatu grup per crawler

Crawler hanya mematuhi grup dengan User-agent paling spesifik yang cocok dengan namanya. Jika Googlebot punya grup sendiri, ia mengabaikan grup User-agent: * sepenuhnya.

PrioritasKecocokan terpanjang menang

Jika beberapa aturan cocok dengan sebuah URL, aturan dengan path terpanjang yang menang. Allow: /shop/sale/ mengalahkan Disallow: /shop/ untuk halaman di bawah /shop/sale/.

GoogleAllow menang jika seri

Jika aturan Allow dan Disallow sama panjangnya, Google memilih yang paling longgar, yaitu Allow.

PolaWildcard * dan $

* cocok dengan karakter apa pun dan $ menandai akhir URL. Disallow: /*.pdf$ memblokir semua PDF, tetapi tidak memblokir /file.pdf?download=1.

Arti Status HTTP Robots.txt

Crawler bereaksi terhadap kode respons sebelum membaca satu aturan pun. Begini cara Google menangani setiap kasus:

Aturan berlaku200 OK

File dibaca dan aturannya diikuti. Google membaca 500 KiB pertama dan mengabaikan semua isi setelahnya.

DiikutiRedirect 3xx

Google mengikuti setidaknya lima redirect. Jika masih belum sampai ke robots.txt, file dianggap tidak ada.

Crawl semua4xx (404, 403, 410)

Diperlakukan seolah tidak ada robots.txt: setiap URL boleh di-crawl. 429 Too Many Requests adalah pengecualiannya.

Tidak di-crawl5xx, 429, atau tidak terjangkau

Google menganggap seluruh situs diblokir selama error berlangsung. Setelah 30 hari, Google memakai salinan cache terakhir, atau menganggap tidak ada batasan jika tidak punya salinan.

Advertisement

Memblokir Crawler AI dengan Robots.txt

Perusahaan AI memakai nama crawler terpisah untuk pelatihan model, pencarian AI, dan pengambilan on-demand, sehingga Anda bisa memblokir satu tanpa memblokir yang lain. Memblokir Google-Extended mencegah konten Anda dipakai untuk Gemini tetapi tidak memengaruhi Google Search; memblokir Googlebot justru akan memengaruhinya.

Tabel Crawler AI di checker menunjukkan sekilas mana dari 13 bot AI yang diizinkan masuk oleh robots.txt Anda. Untuk memblokir crawler pelatihan AI utama, tambahkan:

Blokir crawler pelatihan AI
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: CCBot User-agent: Applebot-Extended Disallow: /

Kesalahan Robots.txt yang Umum

  • Sisa `Disallow: /` dari situs staging memblokir semuanya. Ini alasan paling umum situs baru tidak pernah muncul di Google.

  • Memakai robots.txt untuk menyembunyikan halaman. URL yang diblokir tetap bisa diindeks dari tautan, hanya saja tanpa deskripsi. Agar halaman tidak muncul di pencarian, biarkan halaman itu di-crawl dan tambahkan meta tag noindex atau header X-Robots-Tag.

  • Baris `Noindex:` di robots.txt. Google berhenti mendukungnya pada September 2019; baris itu diabaikan.

  • Memblokir CSS dan JavaScript. Google merender halaman seperti browser; file yang diblokir bisa membuat halaman Anda tampak rusak di mata Google.

  • Huruf besar-kecil yang salah. Nama direktif tidak case-sensitive, tetapi path case-sensitive: Disallow: /Admin/ tidak memblokir /admin/.

  • Satu file untuk semua subdomain. Robots.txt hanya berlaku untuk host dan protokolnya sendiri. blog.example.com butuh file sendiri.

  • Crawl-delay untuk Google. Googlebot mengabaikannya. Bing mematuhinya.

Advertisement

Contoh Robots.txt

Salin pola yang Anda butuhkan, lalu tempel file lengkap Anda ke checker untuk mengujinya:

Izinkan semuanya
User-agent: * Disallow:
Blokir satu folder, kecuali satu subfolder
User-agent: * Disallow: /admin/ Allow: /admin/public/
Blokir URL berparameter dan PDF
User-agent: * Disallow: /*? Disallow: /*.pdf$
Arahkan crawler ke sitemap Anda
Sitemap: https://example.com/sitemap.xml

Alat SEO dan Crawling Lainnya

Buat dan periksa bagian lain dari pengaturan crawl Anda:

Pembuat Robots.txt

Buat robots.txt dengan preset dan pemblokiran bot AI.

Pembuat Sitemap

Buat sitemap XML untuk website Anda.

Pemeriksaan Header HTTP

Lihat X-Robots-Tag dan header respons lainnya.

Pemeriksa Pengalihan

Ikuti setiap hop dalam rantai redirect.

FAQ Robots.txt Checker

Masukkan domain Anda di atas. Checker mengambil /robots.txt, menampilkan status HTTP dan isinya, mencantumkan error yang ditemukan, dan memungkinkan Anda menguji apakah URL tertentu diizinkan untuk Googlebot, Bingbot, atau crawler AI.

Advertisement