Alat populer

Tema

Generator Robots.txt

Buat robots.txt yang bisa Anda percaya: setiap aturan dijelaskan saat Anda mengetiknya, file-nya dibaca ulang oleh pemeriksa robots.txt kami menurut RFC 9309 dan tafsiran Google sendiri, plus putusan langsung untuk crawler dan path apa pun sebelum Anda memublikasikannya.

Preset yang disusun dari dokumentasi WordPress, Shopify, Next.js, dan Google · crawler yang didokumentasikan tiap operator, menurut tujuannya · aturan penentu beserta barisnya · ditulis di browser Anda, tidak ada yang diunggah
Ditulis dan dicek di browser Anda

Satu file per host dan protokol: www.example.com dan example.com masing-masing butuh file sendiri.

Mulai dari
Yang dilakukannya
  • Setiap crawler boleh mengambil setiap URL di situs.
  • Baris Sitemap: mengarahkan crawler ke sitemap Anda.
Yang tidak dilakukannya
  • Preset ini tidak merahasiakan apa pun: robots.txt adalah file publik, dan sifatnya permintaan, bukan kunci.
  • Preset ini tidak meminta mesin pencari mengindeks sebuah halaman. Perayapan dan pengindeksan adalah dua hal terpisah.

Sumber: RFC 9309, dibaca pada 26 Oktober 2026.

Aturan

Semua crawler lainnya

User-agent: *

Dibaca oleh setiap crawler yang tidak punya grup sendiri.

  • Mengizinkan seluruh situs.
Google mengabaikannya; Bing membacanya.

Crawler menurut tujuannya

Pilih apa yang didapat tiap crawler yang dikenal. Crawler yang punya grup sendiri hanya membaca grup itu.

Mesin pencari8

Crawler ini merayapi untuk membangun indeks pencarian. Halaman yang diblokir tetap bisa tercantum lewat link dari tempat lain, tetapi tanpa ada isinya yang dibaca.

  • GooglebotGoogleYa, kata operatornya
  • Storebot-GoogleGoogleYa, kata operatornya
  • BingbotMicrosoftYa, kata operatornya
  • ApplebotAppleYa, kata operatornya
  • Amzn-SearchBotAmazonYa, kata operatornya
  • DuckDuckBotDuckDuckGoYa, kata operatornya
  • YandexBotYandexYa, kata operatornya
  • BaiduspiderBaiduOperatornya tidak menyebutkan
Pelatihan AI6

Crawler ini mengumpulkan halaman untuk melatih model. Token tersendiri memungkinkan Anda menolak pelatihan dan tetap muncul di hasil penelusuran.

  • Google-ExtendedGoogleHanya token, tidak pernah dikirim dalam permintaan
  • GPTBotOpenAIYa, kata operatornya
  • ClaudeBotAnthropicYa, kata operatornya
  • Applebot-ExtendedAppleHanya token, tidak pernah dikirim dalam permintaan
  • meta-externalagentMetaYa, kata operatornya
  • AmazonbotAmazonYa, kata operatornya
Jawaban AI4

Crawler ini mengambil halaman untuk menjawab pertanyaan dengan link kembali ke situs Anda.

  • OAI-SearchBotOpenAIYa, kata operatornya
  • Claude-SearchBotAnthropicYa, kata operatornya
  • PerplexityBotPerplexityYa, kata operatornya
  • meta-webindexerMetaYa, kata operatornya
Diambil untuk satu orang5

Crawler ini mengambil satu halaman karena seseorang memintanya, jadi sebagian operator menyatakan crawler ini bisa mengabaikan robots.txt.

Menolak crawler ini berarti menolak seseorang, bukan perayapan: ketika seseorang meminta asisten AI membuka salah satu halaman Anda, asisten yang mematuhi file ini tidak akan membacanya untuk orang itu. Tolak crawler pelatihan di atas jika yang Anda maksud adalah pelatihan.

  • ChatGPT-UserOpenAITidak selalu, kata operatornya
  • Claude-UserAnthropicYa, kata operatornya
  • Perplexity-UserPerplexityTidak selalu, kata operatornya
  • meta-externalfetcherMetaTidak selalu, kata operatornya
  • Amzn-UserAmazonTidak selalu, kata operatornya
Pratinjau, iklan, dan lainnya8

Pratinjau link, alat pemilik situs, pengecekan iklan, arsip, dan crawler yang operatornya menyebut tugas lain atau tidak menyebut apa pun.

  • Google-InspectionToolGoogleYa, kata operatornya
  • GoogleOtherGoogleYa, kata operatornya
  • AdsBot-GoogleGoogleYa, kata operatornya
  • OAI-AdsBotOpenAIOperatornya tidak menyebutkan
  • facebookexternalhitMetaTidak selalu, kata operatornya
  • meta-externaladsMetaYa, kata operatornya
  • BytespiderByteDanceOperatornya tidak menyebutkan
  • CCBotCommon CrawlYa, kata operatornya

Sitemap

  • Ketik situs Anda di atas dan kolom ini akan terisi.

File

1 peringatan

robots.txt Anda/robots.txt

2 baris
  1. User-agent: *
  2. Allow: /

KesalahanPeringatanCatatan23 B dari 500 KiB

Temuan pemeriksa

1 peringatan

  • Tidak ada baris SitemapPeringatan

    Yang perlu dilakukan Ini baris paling murah di file ini, dan setiap crawler membacanya. Tambahkan Sitemap: dengan alamat lengkap sitemap Anda.

Tes sebelum dipublikasikan

Pilih crawler dan path: putusannya, aturan yang memutuskannya, dan grup yang dibaca crawler itu berasal dari mesin pencocokan milik Pemeriksa Robots.txt sendiri.

Coba sebuah path
Crawler

  • Crawler ini boleh meminta URL tersebut.

    Grup yang dipilih

    User-agent: *dimulai di baris 1

    Tidak ada grup yang menyebut crawler ini, jadi grup * yang berlaku.

    Diputuskan oleh

    Allow: /baris 2

    Aturan yang sama juga menjaring

    /any-page

    Yang dibandingkan

    /

    Hanya path dan query yang dibandingkan, byte demi byte setelah percent-encoding. Host, skema, dan fragmen tidak pernah menjadi bagian dari aturan.

Cara membuat file robots.txt

Tulis aturannya, simpan sebagai file teks biasa bernama robots.txt dengan encoding UTF-8, lalu unggah ke tingkat teratas situs Anda, sehingga file itu menjawab di https://example.com/robots.txt. Tidak ada yang perlu dikirim: crawler meminta alamat itu dengan sendirinya.

Google merangkumnya dalam tiga kalimat: “File harus diberi nama robots.txt. Situs hanya boleh memiliki satu file robots.txt. File robots.txt harus berada di root host situs tempat file tersebut akan diberlakukan.” File itu harus berupa “file teks berenkode UTF-8”, dan “crawler Google secara otomatis akan menemukan dan mulai menggunakan file robots.txt Anda.”

Generator di atas dimulai dari sebuah preset, menjelaskan setiap aturan saat Anda mengetiknya, dan membaca ulang hasilnya dengan parser dan mesin pencocokan milik pemeriksa robots.txt kami sebelum Anda menyalinnya. File unduhannya bernama robots.txt: UTF-8 tanpa byte-order mark, hanya line feed, dan tanpa tanggal atau komentar yang tidak Anda minta.

Empat langkah dari aturan sampai robots.txt yang berfungsi
  1. 1Tulis aturannyaMulai dari sebuah preset, lalu tambahkan grup dan path yang dibutuhkan situs Anda.
  2. 2Simpan sebagai robots.txtTeks biasa, UTF-8, tanpa byte-order mark.
  3. 3Unggah ke rootFile harus menjawab di tingkat teratas host:https://example.com/robots.txt
  4. 4Tes file-nyaDi sini sebelum dipublikasikan, lalu file live-nya dengan Pemeriksa Robots.txt.

Tidak ada langkah pengiriman: crawler Google menemukan file-nya sendiri.

Generator robots.txt: preset WordPress, penjelasan tiap aturan, file beserta nomor barisnya, dan temuannyaGenerator robots.txt: preset WordPress, penjelasan tiap aturan, file beserta nomor barisnya, dan temuannyaYang dilakukan presetDan yang tidak dilakukannya: tak satu pun preset ini mencegah halaman masuk ke Google, dan masing-masing menyatakannya.Penjelasan tiap aturanPath yang diblokir sebuah aturan dan yang terlewat, dari mesin pencocokan yang sama yang menghasilkan setiap putusan, serta aturan lebih panjang yang membuat pengecualian.File dan temuannyaFile beserta nomor barisnya, dibaca ulang oleh audit milik Pemeriksa Robots.txt sendiri sebelum Anda menyalinnya.PutusannyaPilih crawler dan path: diizinkan atau diblokir, aturan yang memutuskannya beserta barisnya, dan grup yang dibaca crawler itu.
Preset WordPress di generator: apa yang dilakukan dan tidak dilakukan preset itu, penjelasan tiap aturan dari mesin pencocokan, file seperti yang akan dipublikasikan, dan putusan untuk sebuah crawler dan sebuah path. Pilih sebuah angka untuk melihat apa yang ditunjukkan tiap bagian.

Contoh robots.txt dan isinya, baris demi baris

Grup dan baris Sitemap. Sebuah grup dimulai dengan satu atau beberapa baris User-agent yang menyebut crawler, diikuti aturan Allow dan Disallow yang dipatuhi crawler itu; baris Sitemap berdiri sendiri, di luar semua grup.

RFC 9309 mendefinisikan grup sebagai “satu atau beberapa baris user-agent yang diikuti oleh satu atau beberapa aturan”, dan sebuah crawler mematuhi tepat satu grup: grup yang menyebut token produknya sendiri, atau grup * jika tidak ada. Google membaca empat kolom dan tidak ada yang lain: user-agent, allow, disallow, dan sitemap.

Nama kolom tidak peka huruf besar/kecil, sedangkan path peka: dalam contoh Google sendiri, disallow: /file.asp berlaku untuk /file.asp “tetapi tidak” untuk /FILE.asp. Baris Sitemap: harus berupa alamat lengkap dengan protokol dan host-nya; generator ini menolak bentuk lain dan menjelaskan alasannya.

Sebuah robots.txt, baris demi baris
robots.txt
  1. 1User-agent: *Memulai grup untuk setiap crawler yang tidak punya grup sendiri
  2. 2Disallow: /cart/Path yang tidak boleh diambil crawler ini
  3. 3Allow: /cart/helpPengecualian: lebih panjang dari Disallow, jadi aturan ini menang
  4. 4
  5. 5User-agent: GPTBotMemulai grup yang menyebut dua crawler
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Keduanya ditolak dari seluruh situs
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlDi luar semua grup: alamat lengkap

Allow vs Disallow, * dan $: cara sebuah aturan dicocokkan

Jika beberapa aturan cocok dengan sebuah URL, aturan dengan path terpanjang yang menang, apa pun jenisnya, dan Allow menang jika seri. * mewakili rangkaian karakter apa pun dan $ menandai akhir URL; tidak ada karakter lain dalam path yang bermakna khusus.

RFC 9309: “Kecocokan paling spesifik yang ditemukan HARUS dipakai. Kecocokan paling spesifik adalah kecocokan dengan oktet terbanyak”, dan “jika aturan allow dan aturan disallow setara, aturan allow SEBAIKNYA dipakai.” File WordPress sendiri bekerja dengan cara ini: Disallow: /wp-admin/ menutup foldernya, dan Allow: /wp-admin/admin-ajax.php yang lebih panjang membuka satu file di dalamnya.

Aturan tanpa $ adalah awalan (prefix), jadi Disallow: /admin juga memblokir /administrator; tambahkan garis miring (/admin/) jika yang Anda maksud foldernya. Di bawah setiap aturan, editor di atas menunjukkan path yang dijaringnya dan beberapa yang tidak, dari mesin pencocokan yang menghasilkan setiap putusan, dan menandai aturan yang selalu dikalahkan aturan lain.

* dan $, dan apa yang benar-benar dijaring tiap pola
PolaMenjaringTidak menjaring
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [, dan + adalah karakter biasa. Tidak ada regular expression di robots.txt.

Dua aturan cocok dengan satu URL: path yang lebih panjang menang
/admin/report.pdf
  • Disallow: /admin/7 karakter
  • Allow: /admin/report.pdf17 karakter

Allow menang: aturan ini cocok dengan bagian path yang lebih panjang.

Seri persis
Disallow: /files/7 karakterAllow: /files/7 karakter

Panjangnya sama, jadi Allow menang. “Aturan yang paling longgar”, menurut Google.

File contoh ini milik www.example.org, situs fiktif: tidak ada robots.txt sungguhan yang ditampilkan sebagai rusak.

robots.txt untuk WordPress, Shopify, dan Next.js

Ketiganya sudah menyajikan robots.txt, dan preset di atas menulis apa yang dijelaskan dokumentasi tiap platform sendiri: WordPress menolak area admin-nya tetapi mengizinkan admin-ajax.php, Shopify menolak keranjang, checkout, serta koleksi yang difilter atau diurutkan, dan Next.js menyajikan file yang Anda letakkan di app/robots.txt.

WordPress menulis file-nya lewat kode, di do_robots(): User-agent: *, sebuah Disallow untuk path admin dan sebuah Allow untuk admin-ajax.php, ditambah, di situs publik sejak WordPress 5.5, baris Sitemap: untuk /wp-sitemap.xml. Dengan “Halangi mesin pencari untuk mengindeks situs ini” aktif, WordPress 5.3 dan yang lebih baru tidak lagi menulis Disallow: /, tetapi memakai meta tag robots.

Shopify menyatakan bahwa file bawaannya “berfungsi untuk sebagian besar toko”. Tidak ada file yang bisa diunggah: mengubahnya berarti menyunting template robots.txt.liquid milik tema, yang oleh Shopify disebut “kustomisasi yang tidak didukung”. Next.js menyajikan app/robots.txt apa adanya, atau membuat file-nya dari app/robots.ts.

Apa yang disajikan WordPress, Shopify, dan Next.js, dan di mana Anda mengubahnya
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Ditulis oleh WordPress sendiri. Ubah dengan plugin atau filter robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Bawaan Shopify. Ubah di template robots.txt.liquid milik tema.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

File Anda sendiri di app/robots.txt, atau app/robots.ts, yang disajikan di /robots.txt.

Setiap file adalah yang ditulis preset bernama sama untuk example.com.

Memblokir crawler AI: apa yang benar-benar berhasil

Grup yang menyebut crawler itu, dengan Disallow: / di bawahnya, berhasil untuk setiap crawler yang operatornya menyatakan mematuhi robots.txt, dan hanya untuk mereka. Ini permintaan yang dihormati crawler, bukan kunci: crawler yang mengabaikan file ini tetap bisa mengambil setiap halaman.

Sebagian besar perusahaan AI menjalankan lebih dari satu crawler, jadi putuskan per tugas. Menolak crawler pelatihan seperti GPTBot atau ClaudeBot berarti menolak crawler yang mengumpulkan halaman untuk model; menolak crawler jawaban seperti OAI-SearchBot atau PerplexityBot juga menghilangkan Anda dari link yang ditampilkan asisten-asisten itu. Token pelatihan Google bukan Googlebot: “Google-Extended tidak memengaruhi penyertaan situs di Google Penelusuran dan tidak juga digunakan sebagai sinyal penentu peringkat di Google Penelusuran.”

Jenis ketiga berbeda. ChatGPT-User, Claude-User, Perplexity-User, dan Amzn-User mengambil satu halaman karena seseorang meminta asisten membukanya, jadi menolak mereka berarti menolak orang itu, dan sebagian operatornya menyatakan crawler ini bisa saja mengabaikan robots.txt. Karena itulah daftar crawler di atas menempatkan mereka di bagian tersendiri.

Tiga tugas crawler AI, dan apa kata tiap operator tentang robots.txt
OperatorPelatihanJawaban AIPermintaan satu orang
OpenAIGPTBotMematuhiOAI-SearchBotMematuhiChatGPT-UserBisa mengabaikan
AnthropicClaudeBotMematuhiClaude-SearchBotMematuhiClaude-UserMematuhi
PerplexityTidak ada crawler seperti ituPerplexityBotMematuhiPerplexity-UserBisa mengabaikan
GoogleGoogle-ExtendedHanya tokenTidak ada crawler seperti ituTidak ada crawler seperti itu
AppleApplebot-ExtendedHanya tokenTidak ada crawler seperti ituTidak ada crawler seperti itu
Metameta-externalagentMematuhimeta-webindexerMematuhimeta-externalfetcherBisa mengabaikan
AmazonAmazonbotMematuhiTidak ada crawler seperti ituAmzn-UserBisa mengabaikan
  • PelatihanMengumpulkan halaman untuk melatih model.
  • Jawaban AIMengambil halaman untuk menjawab pertanyaan, biasanya dengan link kembali ke situs Anda.
  • Permintaan satu orangMengambil satu halaman karena seseorang memintanya. Sebagian operator menyatakan crawler ini bisa mengabaikan robots.txt.

robots.txt tidak mencegah halaman masuk ke Google: pakai noindex

robots.txt meminta crawler untuk tidak mengambil sebuah halaman, bukan meminta mesin pencari untuk tidak mencantumkannya. Google “masih dapat mengindeks URL dan menampilkannya di hasil penelusuran tanpa cuplikan” jika halaman lain menautkan ke sana. Agar halaman tidak muncul, pakai noindex, dan biarkan halamannya bisa dirayapi agar tag itu terbaca.

Search Console menyebutnya “Diindeks, meskipun diblokir oleh robots.txt”. Dan Google menyatakannya dengan tegas: “Agar aturan noindex efektif, halaman atau resource tidak boleh diblokir oleh file robots.txt”: noindex di halaman yang di-disallow tidak pernah terlihat, karena crawler tidak pernah mengambil halaman itu.

Itulah sebabnya setiap preset di atas menyebut apa yang tidak dilakukannya. Disallow: / milik preset staging menjauhkan crawler yang patuh, tetapi URL staging yang ditautkan dari mana pun tetap bisa tercantum: lindungi staging dengan kata sandi, dan jangan pernah membawa baris itu ke situs live.

Kenapa halaman yang diblokir tetap bisa muncul di Google, dan kenapa noindex-nya tidak pernah terbaca
  1. Crawler
  2. Membaca robots.txt
  3. URL-nya diblokir
  4. Tidak mengambil halamannya
Halaman itu sendiri<meta name="robots" content="noindex">Tidak pernah terbaca
Situs lain menautkan ke sana
Indeks penelusuranURL-nya, tanpa deskripsi
Search Console menyebutnyaDiindeks, meskipun diblokir oleh robots.txt

Agar halaman tidak muncul: izinkan crawler masuk dan pakai noindex, atau wajibkan login.

Di mana file robots.txt harus diletakkan

Di root host yang diaturnya, sebagai /robots.txt, satu file per host dan protokol. https://example.com/robots.txt tidak berlaku untuk https://www.example.com atau https://shop.example.com: masing-masing butuh file sendiri, dan robots.txt di dalam folder tidak pernah dibaca.

Google: “Anda harus meletakkan file robots.txt di direktori tingkat atas situs, pada protokol yang didukung.” Laporan robots.txt di Search Console mencantumkan file dari 20 host teratas sebuah properti secara terpisah, dengan HTTP dan HTTPS dihitung sendiri-sendiri.

Ketik situs Anda di bagian atas generator, dan generator akan memberi alamat persis tempat file harus menjawab, mengisi baris Sitemap: untuk host itu, dan menautkan ke Pemeriksa Robots.txt, yang membaca file live begitu file itu sudah diunggah.

Satu robots.txt per host dan protokol
File iniBerlaku untuk
https://example.com/robots.txtSetiap URL di https://example.com
https://www.example.com/robots.txtHanya www.example.com: host terpisah
http://example.com/robots.txtHanya situs http://: protokol terpisah
https://shop.example.com/robots.txtHanya shop.example.com
https://example.com/blog/robots.txtTidak ada: robots.txt di dalam folder tidak pernah dibaca

Crawl-delay, Host, Clean-param, dan Content-Signal

Google tidak membaca satu pun. Crawl-delay dibaca Bing, Clean-param dibaca Yandex, Host tidak ada di standar maupun di daftar Google, dan Content-Signal dari Cloudflare menyatakan untuk apa konten Anda boleh dipakai, bukan apa yang boleh dirayapi.

Google mendaftar empat kolomnya dan menambahkan bahwa “kolom lain seperti crawl-delay tidak didukung”. Blog Bing sendiri menyatakan “direktif crawl-delay hanya menerima bilangan bulat positif sebagai nilai”, jadi editor ini menolak pecahan alih-alih menuliskannya. Halaman bantuan Bing saat ini tidak bisa dibaca untuk memastikan rentang atau satuannya, jadi halaman ini tidak menyebut keduanya.

Tidak satu pun dari direktif itu merusak file: RFC 9309 mensyaratkan bahwa penguraian record lain “TIDAK BOLEH mengganggu penguraian record yang didefinisikan secara eksplisit”. Dari keempatnya, generator ini hanya menulis Crawl-delay, dengan label siapa yang membacanya.

Mesin pencari mana yang membaca direktif apa
DirektifGoogleBingYandex
User-agentMembacanyaMembacanyaMembacanya
AllowMembacanyaMembacanyaMembacanya
DisallowMembacanyaMembacanyaMembacanya
SitemapMembacanyaMembacanyaMembacanya
Crawl-delayMengabaikannyaMembacanyaBelum terkonfirmasi
Clean-paramMengabaikannyaMengabaikannyaMembacanya
HostMengabaikannyaMengabaikannyaBelum terkonfirmasi
noindexMengabaikannyaBelum terkonfirmasiBelum terkonfirmasi
Content-SignalMengabaikannyaBelum terkonfirmasiBelum terkonfirmasi
  • Google mendukung empat kolom dan menyatakannya: user-agent, allow, disallow, dan sitemap.
  • Blog Bing sendiri mengonfirmasi Crawl-delay. Kami tidak mencantumkan rentang atau satuan nilainya: halaman bantuan Bing saat ini tidak bisa dibaca untuk memeriksanya.
  • Dihentikan Google pada 2019, dan tidak pernah menjadi bagian dari standar.
  • Content Signals Policy dari Cloudflare: pernyataan tentang bagaimana konten boleh dipakai, bukan aturan perayapan.

Cara mengetes file robots.txt yang baru Anda tulis

Dua kali. Sebelum Anda memublikasikannya, lewat Tes sebelum dipublikasikan di atas: pilih crawler dan path, lalu lihat aturan yang memutuskannya. Setelah file diunggah, jalankan Pemeriksa Robots.txt pada file live, karena jawaban server sama pentingnya dengan isi file.

File yang menjawab 404 dibaca seolah-olah tidak ada file sama sekali, jadi setiap crawler boleh mengambil semuanya; file yang menjawab 500 atau 503 berarti crawler yang mengikuti standar tidak boleh mengambil apa pun. RFC 9309 §2.3.1.4: crawler “HARUS menganggap disallow total”. Google melunakkannya dengan tahapannya sendiri, yang ditunjukkan di gambar.

Penguji robots.txt milik Google sudah tidak ada: Search Central mengumumkan penghentiannya pada 15 November 2023, dan laporan robots.txt yang menggantikannya menampilkan file yang diambil Google, tanpa mengetes URL terhadap sebuah aturan. Tes itu dilakukan oleh Tes sebelum dipublikasikan, di generator di atas, dan oleh pemeriksa robots.txt.

Arti tiap jawaban atas GET /robots.txt bagi seluruh situs
Server menjawabLalu crawler
200Mengikuti aturan di file.
301, 302Mengikuti setidaknya lima kali redirect, lalu berhenti. Setelah itu Google menganggap file-nya 404.
403, 404Merayapi semuanya, seolah-olah tidak ada file.
429Tidak merayapi apa pun. Google menggolongkannya bersama jawaban 5xx, bukan 4xx.
500, 503Tidak merayapi apa pun sama sekali, menurut standar.
Nama tidak adaTidak ada situs untuk dibaca, jadi tidak ada putusan.
Yang dilakukan Google terhadap 5xx, dari hari ke hari
  1. 112 jam pertamaBerhenti merayapi situs dan terus mencoba mengambil file-nya
  2. 2Hingga 30 hariMemakai salinan valid terakhir robots.txt
  3. 3Setelah 30 hariJika situs aktif, bersikap seolah-olah tidak ada robots.txt

Kesalahan robots.txt yang membuat situs kehilangan trafik

Kesalahan yang mahal masing-masing hanya satu baris pendek: Disallow: / yang tertinggal dari staging, awalan yang menjangkau lebih jauh dari maksud Anda, baris Sitemap: yang ditulis sebagai path, path tanpa garis miring di depan, dan baris noindex yang tidak lagi dibaca Google sejak 2019.

Semuanya tertangkap di sini sebelum Anda menyalin file-nya. Audit milik pemeriksa berjalan saat Anda mengetik dan temuannya ada di bawah file; baris yang akan ditolak crawler tidak pernah ditulis sama sekali, dan editor menjelaskan di barisnya kenapa baris itu tidak dimasukkan.

Satu kesalahan berupa pasangan, bukan satu baris: URL yang di-disallow di sini dan juga memuat noindex di halamannya. Crawler tidak pernah mengambil halaman itu, jadi tidak pernah melihat noindex-nya, dan URL itu bisa tetap ada di hasil penelusuran. Pilih salah satu: blokir perayapannya, atau izinkan crawler masuk dan minta agar tidak mengindeks.

Sumber

Enam kesalahan robots.txt, dan apa yang sebenarnya terjadi pada masing-masing
Baris seperti yang ditulisYang sebenarnya terjadi
Disallow: /Sisa dari staging: seluruh situs yang sudah live tertutup untuk setiap crawler.
Disallow: /adminJuga memblokir /administrator dan /admin-tools. Tambahkan garis miring di akhir.
Allow: / di bawah User-agent: *Tidak pernah dibaca oleh crawler yang punya grup sendiri di bagian mana pun dalam file.
Sitemap: /sitemap.xmlBaris Sitemap harus berupa alamat lengkap beserta host-nya.
Disallow: adminPath dimulai dari /. Aturan ini tidak cocok dengan apa pun.
noindex: /private/Mati sejak 2019. Halamannya tetap bisa dirayapi dan diindeks.

Generator robots.txt: pertanyaan umum

Bagaimana cara membuat file robots.txt?

Pilih preset di atas atau tulis aturannya sendiri, lalu salin atau unduh file-nya. Simpan sebagai teks UTF-8 biasa bernama robots.txt dan unggah ke root situs Anda, sehingga file itu menjawab di https://situs-anda/robots.txt. Tidak ada langkah pengiriman: crawler Google menemukan file-nya sendiri. Lalu jalankan Pemeriksa Robots.txt pada alamat live untuk memastikan server menjawab 200.

Di mana file robots.txt harus diletakkan?

Di root host yang diaturnya, sebagai /robots.txt, tidak pernah di dalam folder, tempat tidak ada crawler yang mencarinya. Setiap host dan protokol butuh file sendiri, jadi example.com, www.example.com, dan shop.example.com masing-masing menyajikan robots.txt terpisah. Di Shopify tidak ada file untuk diunggah: Anda menyunting template robots.txt.liquid milik tema. Di Next.js, file-nya diletakkan di folder app.

Apakah saya benar-benar butuh file robots.txt?

Tidak wajib. Jika situs tidak punya robots.txt dan alamatnya menjawab 404, crawler boleh mengambil semuanya, dan RFC 9309 mengizinkan hal itu. File ini tetap layak dimiliki, setidaknya untuk baris Sitemap, dan untuk menjauhkan crawler dari keranjang, hasil pencarian internal, atau URL filter yang tak ada habisnya. Yang paling penting, alamat itu tidak pernah menjawab error server: 5xx menyuruh crawler yang patuh untuk tidak mengambil apa pun.

Bisakah robots.txt menghapus halaman dari Google?

Tidak. robots.txt menghentikan crawler mengambil halaman, bukan menghentikan Google mencantumkannya. URL yang di-disallow dan ditautkan dari tempat lain tetap bisa diindeks dan ditampilkan tanpa deskripsi, dengan status Search Console “Diindeks, meskipun diblokir oleh robots.txt”. Agar halaman tidak muncul, izinkan Google merayapinya dan sajikan meta tag noindex atau header X-Robots-Tag, atau letakkan di balik login. Jangan pernah men-disallow sekaligus memberi noindex pada URL yang sama.

Apakah memblokir crawler AI memengaruhi peringkat Google saya?

Tidak, jika yang Anda tolak adalah pelatihan AI. Google-Extended, token yang dibaca Google untuk pelatihan model, terpisah dari Googlebot, dan Google menyatakan token itu tidak memengaruhi penyertaan situs di Google Penelusuran dan bukan sinyal peringkat. Menolak GPTBot, ClaudeBot, atau crawler pelatihan lainnya juga tidak mengubah apa pun bagi mesin pencari, karena setiap crawler hanya membaca grup yang menyebut namanya.

Haruskah saya memblokir ChatGPT-User dan Claude-User?

Hanya jika Anda memang ingin menolak orang. Crawler ini mengambil satu halaman karena seseorang meminta ChatGPT atau Claude membukanya, jadi memblokirnya menghentikan asisten orang itu membaca halaman Anda; perayapan tidak terhenti karenanya. Sebagian operator menyatakan crawler ini bisa saja mengabaikan robots.txt. Jika yang Anda keberatan adalah pelatihan, tolak GPTBot dan ClaudeBot: preset Tanpa pelatihan AI melakukan persis itu.

Apakah setiap subdomain butuh robots.txt sendiri?

Ya. robots.txt hanya berlaku untuk host dan protokol tempat file itu disajikan, jadi blog.example.com, shop.example.com, dan www.example.com masing-masing butuh file sendiri, dan aturan di example.com/robots.txt tidak pernah menjangkau mereka. Laporan robots.txt di Search Console mencantumkan file per host karena alasan yang sama. Ketik setiap host ke generator satu per satu: generator mengisi baris Sitemap yang tepat untuk masing-masing.

Apakah Google mendukung Crawl-delay?

Tidak. Google mencantumkan empat kolom yang didukungnya, yaitu user-agent, allow, disallow, dan sitemap, dan menyatakan bahwa kolom seperti crawl-delay tidak didukung. Bing membacanya, dan blog Bing sendiri menyebut nilainya harus bilangan bulat positif, itulah sebabnya generator ini menolak pecahan. Baris Crawl-delay tidak berbahaya, tetapi tidak akan memperlambat Googlebot, dan Search Console tidak lagi punya setelan kecepatan perayapan.

Apa isi robots.txt bawaan WordPress?

Tiga baris dan, di situs publik, sebuah baris Sitemap: User-agent: *, sebuah Disallow untuk /wp-admin/, sebuah Allow untuk /wp-admin/admin-ajax.php, dan sejak WordPress 5.5 sebuah baris Sitemap untuk /wp-sitemap.xml. Itulah yang ditulis fungsi do_robots() milik WordPress sendiri. Allow yang lebih panjang mengalahkan Disallow, jadi admin-ajax.php tetap bisa dirayapi. Pilih preset WordPress untuk memulai dari file persis seperti itu.

Bagaimana cara mengetes file robots.txt saya?

Sebelum Anda memublikasikannya, pakai Tes sebelum dipublikasikan di halaman ini: pilih crawler dan path untuk melihat diizinkan atau diblokir, aturan yang memutuskannya beserta barisnya, dan grup yang dibaca crawler itu. Setelah file diunggah, jalankan Pemeriksa Robots.txt pada situs live Anda. Pemeriksa itu mengambil file yang sebenarnya, jadi juga memberi tahu arti kode status server bagi setiap crawler.

Kenapa aturan Allow saya tidak berfungsi?

Biasanya karena Disallow yang lebih panjang cocok dengan URL yang sama: path terpanjang yang menang, apa pun jenisnya, dan Allow hanya menang jika seri. Atau crawler itu punya grup sendiri, sehingga tidak pernah membaca grup * tempat Allow Anda berada. Editor di atas menandai aturan yang selalu dikalahkan aturan lain, dan Tes sebelum dipublikasikan menyebut aturan penentu dan grup yang dibaca crawler itu.

Apakah generator ini gratis, dan apakah file saya diunggah?

Gratis, tanpa pendaftaran dan tanpa batas harian. Semuanya terjadi di browser Anda: file ditulis, diurai, dan dicek di halaman ini, dan tidak ada yang Anda ketik dikirim ke mana pun. Satu-satunya link keluar adalah sumber preset dan Pemeriksa Robots.txt, yang mengambil file live Anda dari server kami hanya ketika Anda membukanya dan meminta pengecekan.

Ada yang kurang?Usulkan fitur atau alat baru

Alat perayapan dan pengindeksan lainnya