Sitemap Generator

Sitemap generator gratis untuk buat sitemap XML: merayapi situs Anda seperti yang dilakukan mesin pencari, hanya menyimpan halaman yang pantas muncul di hasil pencarian, dan memberi tahu kenapa setiap URL lain tidak disertakan.

Merayapi dari server kami, hingga 5.000 halaman per sesi · robots.txt dan Googlebot dipatuhi · tanggal lastmod asli atau tanpa lastmod sama sekali · file-nya dibuat di browser Anda dan tidak ada yang disimpan

Domain saja juga bisa: example.org dimulai dari halaman berandanya.

  • robots.txtDibaca lebih dulu, dipatuhi
  • Sitemap AndaDicari dan dibandingkan
  • DirayapiHingga 500 halaman, 3 sekaligus
  • Diputuskannoindex, canonical, redirect
PerayapanMenelusuri melebar dari halaman awal, seperti mesin pencari
Coba

Cara buat sitemap XML, langkah demi langkah

Masukkan halaman beranda Anda di atas lalu pilih Buat sitemap. Crawler sitemap ini membaca robots.txt, mengikuti link Anda seperti yang dilakukan mesin pencari, hanya menyimpan halaman yang pantas, dan memberi Anda sitemap.xml untuk diunggah ke root situs Anda.

Sebuah halaman pantas masuk jika menjawab 200, berupa HTML, tidak noindex, menyebut dirinya sendiri sebagai canonical, dan tidak diblokir robots.txt. Setiap URL lain masuk ke Tidak disertakan beserta alasannya, sehingga Anda bisa membedakan kesalahan dari keputusan yang disengaja.

Unggah file-nya ke root, https://www.example.org/sitemap.xml: sebuah sitemap hanya boleh memuat URL di foldernya sendiri dan di bawahnya, jadi root mencakup seluruh situs (Google). Lalu tambahkan baris Sitemap: ke robots.txt dan kirimkan di Google Search Console serta Bing Webmaster Tools.

Empat langkah, dari halaman beranda sampai sitemap terkirim
  1. 1Masukkan halaman beranda Anda

    example.org
    atau tempel daftar URL
  2. 2Kami merayapi dan memutuskan

    robots.txt 200499/500
    412 masuk sitemap · 87 tidak disertakan
  3. 3Unduh file-nya

    sitemap.xml93 KB
    XML, gzip, ZIP, TXT, HTML, atau CSV
  4. 4Unggah dan kirim

    /sitemap.xml
    Sitemap: https://www.example.org/…
    root · robots.txt · Search Console
Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.
Hasil sitemap generator: 412 halaman masuk sitemap XML, 87 tidak disertakan dengan alasannya, catatan, dan pohon situsHasil sitemap generator: 412 halaman masuk sitemap XML, 87 tidak disertakan dengan alasannya, catatan, dan pohon situsPutusannyaBerapa halaman yang masuk, berapa yang tidak disertakan dan kenapa, dalam satu kalimat. Angka-angka besar mengulanginya.Unduhsitemap.xml, atau ZIP berisi semua file beserta indeksnya jika dipecah; juga .xml.gz, TXT, sitemap HTML, dan CSV berisi setiap halaman yang dirayapi.CatatanEntri usang di sitemap Anda saat ini, halaman yang terlewat, dan dari mana tiap tanggal lastmod berasal.Pohon situsSetiap bagian dengan jumlah halamannya dan porsi yang tidak disertakan. Pilih satu cabang untuk menyaring halaman; unduh sebagai SVG atau PNG.
Perayapan sebuah toko WordPress fiktif: putusan dan angkanya, file yang bisa diunduh, apa yang salah pada sitemap-nya saat ini, dan pohon situsnya. Pilih sebuah angka untuk melihat apa yang ditunjukkan tiap bagian.

Seperti apa bentuk sitemap XML? Contoh sitemap

Sitemap XML adalah file UTF-8 dengan satu entri <url> per halaman. Hanya <urlset>, <url>, dan <loc> yang wajib; sisanya opsional. Berikut contoh sitemap, dijelaskan baris demi baris.

Setiap <loc> adalah URL lengkap dan absolut yang diawali protokolnya dan panjangnya di bawah 2.048 karakter, dengan & ditulis sebagai &amp; (sitemaps.org). <lastmod> adalah tanggal halaman itu terakhir berubah, dalam format W3C seperti 2026-09-14; jam boleh disertakan tetapi harus dengan zona waktu.

Namespace-nya tetap http://, bahkan di situs https: itu nama untuk parser, bukan alamat yang diambil siapa pun. <changefreq> dan <priority> boleh ada, tetapi Google dan Bing mengabaikannya.

Contoh sitemap, baris demi baris
sitemap.xmlUTF-8

						<?xml version="1.0" encoding="UTF-8"?>
						1
					
						<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
						2
					
						  <url>
						
					
						    <loc>https://www.example.org/</loc>
						6
					
						  </url>
						
					
						  <url>
						
					
						    <loc>https://www.example.org/shop/?size=m&amp;color=green</loc>
						3
					
						    <lastmod>2026-09-14</lastmod>
						4
					
						    <changefreq>weekly</changefreq>
						5
					
						    <priority>0.8</priority>
						
					
						  </url>
						
					
						</urlset>
						
					
  1. 1UTF-8, dideklarasikan di baris pertama
  2. 2Namespace-nya: http://, bukan https://
  3. 3URL absolut, dengan & ditulis sebagai &amp;
  4. 4Tanggal perubahan yang asli, atau tanpa lastmod sama sekali
  5. 5Diabaikan Google dan Bing
  6. 6Tanpa lastmod: halaman beranda hanya mengumpulkan halaman lain

Halaman mana yang pantas masuk sitemap, dan kenapa sebagian tidak disertakan?

URL canonical yang Anda ingin tampilkan di hasil pencarian, satu per halaman: URL final yang menjawab 200, bisa diindeks, dan tidak diblokir robots.txt. Selebihnya tidak disertakan, dengan alasannya ditulis tepat di sebelahnya.

Sebuah redirect, halaman noindex, atau URL yang canonical-nya menunjuk ke tempat lain mengirim pesan yang bertentangan ke mesin pencari: sitemap berkata “indeks halaman ini” sementara halamannya berkata sebaliknya. Jangan menyebut satu URL di sitemap dan URL lain di rel=canonical (Google), dan Search Console melaporkan sitemap yang memuat URL yang diblokir robots.txt.

Setiap URL di sitemap hanyalah saran; Google tetap yang memutuskan halaman mana yang duplikat. Itulah sebabnya generator ini menampilkan alasan untuk setiap halaman yang tidak disertakan: noindex yang memang Anda sengaja tidak masalah, noindex di halaman produk terbaik Anda jelas masalah.

Bagaimana tiap URL yang dirayapi diputuskanwww.example.org
Link yang kami temukan499 URL dirayapi
1robots.txt mengizinkan?
tidak
Diblokir robots.txt2
ya
2Menjawab 200?
tidak
Redirect414xx75xx2
ya
3HTML, bukan PDF atau gambar?
tidak
Bukan HTML0
ya
4Tanpa noindex?
tidak
noindex23
ya
5Canonical ke dirinya sendiri?
tidak
Canonical ke URL lain12
ya
Masuk ke sitemap Anda412
Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.

lastmod, changefreq, dan priority: apa yang dibaca mesin pencari?

Google dan Bing mengabaikan changefreq dan priority. Keduanya memakai lastmod, tetapi hanya jika akurat: tanggal yang berubah setiap kali dirayapi justru mengajari mereka berhenti memercayainya.

Google memakai lastmod “jika secara konsisten dan terbukti akurat”, dan tanggal itu harus menandai perubahan penting terakhir — konten utama, data terstruktur, atau link-nya — bukan tahun hak cipta yang baru (Google). lastmod yang terus mengklaim ada perubahan baru pada halaman lama tidak lagi dipercaya. Bing menjadwalkan perayapan dengan lastmod dan bisa mengabaikan tanggal yang selalu hari ini. Yandex masih membaca ketiga tag itu.

Jadi generator ini tidak pernah menulis tanggal hari ini. lastmod diambil dari data halaman itu sendiri, dengan urutan di bawah, dan dibiarkan kosong jika tidak ada: membiarkannya kosong tidak masalah untuk halaman beranda atau halaman kategori yang hanya mengumpulkan halaman lain.

Tag mana yang dibaca tiap mesin pencari
TagGoogleBingYandex
lastmoddipakai jika akuratdipakai jika akuratdibaca
changefreqdiabaikandiabaikandibaca
prioritydiabaikandiabaikandibaca
Dari mana lastmod kami berasal, berurutanwww.example.org
1JSON-LD dateModified201
2article:modified_time, og:updated_time103
3sitemap Anda saat ini, jika tanggalnya berbeda-beda18
4header Last-Modified, jika bukan sekadar waktu sekarang499 × “sekarang”0
–tidak ada: lastmod tidak ditulis90

Seperti apa “hari ini” untuk setiap halaman

412 entri, satu tanggal: tanggal pembuatan, bukan tanggal perubahan.

Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.

50.000 URL, 50 MB, dan indeks sitemap

Satu sitemap memuat paling banyak 50.000 URL dan 50 MB sebelum dikompresi. Begitu melewati batas mana pun yang tercapai lebih dulu, pecah URL-nya ke beberapa file dan daftarkan di sebuah indeks sitemap; lalu kirimkan indeksnya.

Batas itu menghitung file yang belum dikompresi, bahkan ketika Anda menyajikannya sebagai .xml.gz — gzip, bukan ZIP (sitemaps.org). Sebuah indeks boleh memuat hingga 50.000 sitemap, hanya file di situsnya sendiri, di foldernya atau lebih dalam, dan tidak pernah indeks lain. Naver Search Advisor menolak file di atas 10 MB, jadi pilih batas 10 MB di Opsi lainnya untuk situs Korea.

Alternatif bahasa (xhtml:link) tidak dihitung ke dalam batas 50.000. Generator ini memecah file secara otomatis dan, jika Anda mau, per bagian: satu file untuk blog, satu untuk produk.

182.340 URL dari sebuah daftar, dipecah menjadi empat file dan satu indeks
sitemap_index.xmlmemuat 4 file
sitemap-1.xml50.000 URL
4.4 MB
50.000 URL per file
sitemap-2.xml50.000 URL
4.6 MB
sitemap-3.xml50.000 URL
4.5 MB
sitemap-4.xml32.340 URL
2.9 MB
Batas ukuran file
50 MBGoogle, Bing, Yandex
10 MBNaver Search Advisor

Entri gambar dan hreflang

Sebuah sitemap juga bisa memuat gambar tiap halaman dan versinya dalam bahasa lain, di dalam entri <url> halaman itu sendiri.

Gambar memakai namespace image milik Google, hingga 1.000 per halaman; hanya <image:image> dan <image:loc> yang masih dihitung, sedangkan caption, title, license, dan geo_location dihentikan pada 2022.

Untuk bahasa, tiap entri mencantumkan setiap versi halaman itu, termasuk dirinya sendiri, dengan xhtml:link dan sebuah kode hreflang: bahasa ISO 639-1 dengan wilayah ISO 3166-1 yang opsional, tidak pernah wilayah saja. Link-nya harus dua arah atau Google mengabaikannya, jadi generator ini hanya menulis sebuah klaster ketika semua versi saling menautkan balik, dan menampilkan sisanya beserta masalahnya. x-default bersifat opsional, untuk pengunjung yang bahasanya tidak Anda punya.

Satu halaman dalam tiga bahasa: siapa menautkan ke siapadocs.example.net
<url>docs.example.net
<url>
  <loc>https://docs.example.net/de/guide/install/</loc>
  <image:image>
    <image:loc>https://docs.example.net/img/ui.png</image:loc>
  </image:image>
  <xhtml:link rel="alternate" hreflang="en"
    href="https://docs.example.net/en/guide/install/"/>
  <xhtml:link rel="alternate" hreflang="de"
    href="https://docs.example.net/de/guide/install/"/>
  <xhtml:link rel="alternate" hreflang="ja"
    href="https://docs.example.net/ja/guide/install/"/>
  <xhtml:link rel="alternate" hreflang="x-default"
    href="https://docs.example.net/en/guide/install/"/>
</url>
menautkan balikja menautkan ke de, de tidak menautkan balik: klasternya tidak ditulis

entri gambar hingga 1.000 per halaman

Bagaimana cara mengirim sitemap ke Google dan Bing?

Tambahkan baris Sitemap: ke robots.txt, yang dibaca semua crawler, lalu kirimkan file-nya di Google Search Console dan Bing Webmaster Tools. Untuk halaman baru dan yang berubah, IndexNow memberi tahu Bing, Yandex, Naver, dan lainnya sekaligus.

Hanya pemilik situs yang terverifikasi yang bisa mengirim di Search Console; baris robots.txt milik siapa pun tetap berfungsi. Search Console tidak mengikuti redirect untuk sitemap yang dikirimkan, jadi kirimkan alamat finalnya. Bing membaca sebuah sitemap begitu menemukannya, lalu kira-kira sekali sehari.

Ping anonim yang lama sudah tidak ada: Bing mematikan bing.com/ping pada 13 Mei 2022, dan Google mengumumkan pada 26 Juni 2023 bahwa ping-nya akan berhenti bekerja; sekarang alamat itu menjawab 404. Alat yang masih “melakukan ping ke Google” sebenarnya tidak melakukan apa-apa.

Empat cara masuk, dan dua yang sudah tidak berfungsi
sitemap.xmlwww.example.org
baris robots.txtsemua crawler, berapa pun jumlah barisnya
Google Search Consolehanya pemilik terverifikasi
Bing Webmaster Toolsdibaca seketika, lalu kira-kira harian
IndexNowhalaman yang berubah; hingga 10.000 URL per permintaan
bukan Google
google.com/ping?sitemap=diumumkan 2023, kini 404bing.com/ping?sitemap=dimatikan pada 13 Mei 2022

Sitemap XML vs HTML (dan sitemap visual)

Sitemap XML untuk crawler, sitemap HTML adalah halaman berisi link untuk pengunjung, dan sitemap visual adalah gambar struktur situs untuk perencanaan. Hanya yang XML, atau daftar TXT, yang bisa dikirimkan ke mesin pencari.

Sitemap HTML tetap membantu pengunjung dan menyebarkan link ke halaman yang dalam, tetapi tidak bisa menggantikan file XML-nya. Sitemap teks biasa hanya berisi URL, satu per baris, dalam file yang berakhiran .txt.

Generator ini membuat ketiganya dari satu kali perayapan: sitemap.xml, sitemap HTML untuk ditempel ke sebuah halaman, dan pohon situs. Sebagai pembuat sitemap visual, alat ini tidak memungut biaya: pohonnya bisa diunduh sebagai SVG atau PNG, sesuatu yang biasanya berbayar di layanan sitemap visual.

Satu perayapan, tiga sitemap

Sitemap XMLuntuk mesin pencari

<url>
  <loc>…/blog/</loc>
</url>
<url>
  <loc>…/product/</loc>
</url>

Sitemap HTMLuntuk pengunjung

Example Garden Co.

Jurnal berkebunPerawatan bedenganTata letak cabaiTokoPaket awal irigasi tetesPanduan menanam

Sitemap visualuntuk perencanaan

Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.

Apakah Anda benar-benar butuh sitemap?

Situs kecil yang semua halamannya saling menautkan mungkin tidak membutuhkannya: Google menyebut angka sekitar 500 halaman atau kurang. Situs besar, situs baru yang sedikit ditautkan dari luar, dan situs dengan banyak gambar atau video paling diuntungkan.

Panduan pemula Google sendiri menyebut sitemap bersifat opsional, dan mengirimkannya adalah petunjuk, bukan perintah. Biayanya kecil, dan perayapan yang membuatnya memperlihatkan hal-hal yang layak diketahui: halaman yang tidak dijangkau link mana pun, redirect yang masih ditunjuk menu Anda, dan bagian situs yang sebagian besarnya noindex.

Siapa yang paling diuntungkan oleh sitemapJumlah halaman di situs
120≈5004995.000182.340

mungkin tidak membutuhkannya

sekitar 500 halaman atau kurang, saling tertaut rapi

paling diuntungkan

  • situs besar
  • situs baru, sedikit link dari luar
  • banyak gambar atau video
  • 5 halaman yang hanya dijangkau sitemap
Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.

Error sitemap di Search Console, dan cara memperbaikinya

Sebagian besar error sitemap di Search Console bermuara pada URL yang tidak boleh dimuat sitemap, karakter yang tidak di-escape, tanggal tanpa zona waktu, atau file yang melewati batas. Tiap kasus di bawah menunjukkan baris penyebabnya.

Enam error, baris di balik masing-masing, dan solusinya

URL tidak diizinkan

sitemap: https://www.example.org/sitemap.xml
<loc>http://example.org/about/</loc>
Cantumkan hanya URL di host dan protokol yang sama dengan sitemap-nya, di foldernya atau di bawahnya.

Kesalahan penguraian

<loc>https://www.example.org/search?q=soil&page=2</loc>
Tulis & sebagai &amp; di dalam setiap URL.

Tanggal tidak valid

<lastmod>2026-09-14T08:30:00</lastmod>
→ 2026-09-14T08:30:00+00:00
Jam harus disertai zona waktu, atau hilangkan jamnya.

Format tidak didukung

<urlset xmlns=“http://www.sitemaps.org/schemas/sitemap/.9”>
Gunakan namespace yang persis sama, dengan tanda kutip lurus.

Terlalu banyak URL

<url> × 50.001
Maksimal 50.000 per file: pecah menjadi sebuah indeks.

Peta situs berisi URL yang diblokir oleh robots.txt

robots.txt: Disallow: /search/
<loc>https://www.example.org/search/tomato/</loc>
Keluarkan URL yang diblokir, atau buka blokirnya.

Juga: Tidak dapat mengambil (diblokir, 404, error server, tindakan manual, atau permintaan perayapan yang rendah), Kesalahan kompresi (gzip ulang file-nya), dan URL tidak lengkap (setiap file dalam sebuah indeks butuh URL lengkapnya).

Bisakah AI membuat sitemap?

AI bisa membuat sketsa struktur sebuah situs untuk perencanaan, tetapi sitemap adalah daftar fakta tentang URL yang hidup: mana yang menjawab 200, mana yang noindex, mana yang redirect. Hanya dengan mengambil tiap URL Anda bisa tahu.

Model yang diminta membuat sitemap sebuah situs yang sudah ada akan menebak URL dari pola. Model itu tidak bisa melihat bahwa sebuah halaman produk kini menjawab 404, bahwa arsip tag di-noindex, atau bahwa postingan lama di-redirect, dan setiap URL semacam itu di file Anda bisa dilaporkan Search Console. Pakai AI untuk rencananya, lalu rayapi untuk file-nya.

Sumber

Lima URL yang sama: ditebak, lalu dirayapi
URLDitebakDirayapi
/blog/raised-care/masukkanMasuk sitemap200
/product/fern-varieties/masukkan4xx404
/tag/native-bed/masukkannoindexmeta
/2019/07/raised-care/masukkanRedirect301 → /blog/raised-care/
/blog/pollinator-kit/amp/masukkanCanonical ke URL lain→ /blog/pollinator-kit/
Angka dari contoh perayapan www.example.org, sebuah toko WordPress fiktif dengan blog, toko, dan sitemap yang sudah usang.

FAQ Sitemap Generator

Apakah gratis buat sitemap XML dengan sitemap generator ini?

Ya. Pembuat sitemap ini merayapi hingga 5.000 halaman per sesi dari server kami, tanpa pendaftaran dan tanpa kuota harian, dan bisa membuat sitemap hingga 200.000 URL dari daftar yang Anda tempel atau unggah. File-nya ditulis di browser Anda dan tidak ada yang disimpan. Unduh sebagai XML, gzip, ZIP, TXT, sitemap HTML, atau laporan CSV, dan pohon situsnya sebagai SVG atau PNG.

Kenapa sebagian halaman saya tidak ada di sitemap?

Karena memang seharusnya tidak dicantumkan: halaman itu redirect, noindex, menyebut URL lain sebagai canonical, menjawab error, diblokir robots.txt, atau bukan HTML. Buka Tidak disertakan untuk melihat setiap URL beserta alasannya dan apa yang harus dilakukan. Halaman yang tidak dijangkau link mana pun hanya ditemukan jika ada di sitemap Anda saat ini, jadi biarkan opsi itu aktif saat Anda menjalankan perayapan.

Di mana file sitemap.xml harus diletakkan?

Di root situs Anda, di https://www.example.org/sitemap.xml. Sebuah sitemap hanya boleh memuat URL di foldernya sendiri dan di bawahnya, jadi file di /blog/ tidak bisa memuat produk Anda, sedangkan root mencakup semuanya. Lalu tambahkan baris Sitemap: berisi URL lengkapnya ke robots.txt, di mana saja dalam file itu dan sebanyak yang Anda perlukan, supaya setiap crawler menemukannya tanpa perlu diberi tahu.

Berapa banyak URL yang boleh ada dalam satu sitemap?

Paling banyak 50.000 URL dan 50 MB sebelum dikompresi per file. Di atas batas mana pun yang tercapai lebih dulu, pecah URL-nya ke beberapa file dan daftarkan di sebuah indeks sitemap, yang sendirinya boleh menyebut hingga 50.000 sitemap. Generator ini memecahnya secara otomatis dan menuliskan indeksnya untuk Anda. Naver Search Advisor menolak file di atas 10 MB, jadi pilih batas itu di Opsi lainnya untuk situs Korea.

Apakah Google memakai priority dan changefreq?

Tidak. Google mengabaikan keduanya, dan Bing menyatakan pada 2025 bahwa ia juga mengabaikannya; hanya Yandex yang masih membacanya. Itulah sebabnya keduanya nonaktif secara bawaan di sini, dan Anda bisa menyalakannya di Opsi lainnya jika memang Anda perlukan untuk Yandex. lastmod berbeda: Google dan Bing sama-sama memakainya untuk menjadwalkan perayapan, tetapi hanya selama tanggalnya tetap akurat.

Kenapa sebagian halaman tidak mendapat tanggal lastmod?

Karena kami hanya menulis tanggal yang bisa kami pertanggungjawabkan: dateModified di JSON-LD halaman itu, article:modified_time-nya, tanggal dari sitemap Anda saat ini jika tanggalnya bervariasi, atau header Last-Modified yang bukan sekadar waktu permintaan. Tanpa salah satu dari itu, lastmod tidak ditulis, dan itu sepenuhnya sah. Tanggal yang selalu hari ini justru mengajari Google dan Bing untuk mengabaikannya sama sekali.

Apakah sitemap boleh memuat redirect atau halaman noindex?

Tidak. Cantumkan URL akhir yang dituju sebuah redirect, bukan URL yang melakukan redirect, dan jangan sertakan halaman noindex: sitemap yang berkata “indeks halaman ini” tentang halaman yang berkata “jangan” adalah pesan yang bertentangan. Search Console juga melaporkan sitemap yang memuat URL yang diblokir robots.txt. Generator ini menyingkirkan semuanya dan menyebut alasannya di sebelah tiap URL.

Bagaimana cara mengirim sitemap saya ke Google?

Buka laporan Sitemap di Google Search Console untuk properti Anda, masukkan path file-nya lalu kirim, atau cukup tambahkan baris Sitemap: ke robots.txt, yang tidak memerlukan akun sama sekali. Mengirimkannya hanyalah petunjuk: Google yang memutuskan apa yang dirayapi. Alamat ping yang lama sudah tidak berfungsi, seperti diumumkan Google pada Juni 2023, jadi abaikan alat yang masih menawarkannya.

CMS saya sudah membuat sitemap. Apakah saya masih butuh yang ini?

Biasanya sebaiknya Anda tetap memakai sitemap CMS Anda, yang memperbarui dirinya sendiri, dan memakai alat ini untuk membenahi isinya. Jalankan perayapan dengan “Cek juga URL di sitemap saya saat ini” aktif: tampilan Sitemap saat ini menunjukkan entri yang redirect, noindex, atau menjawab error, halaman yang bisa diindeks tetapi terlewat, dan halaman yang tidak dijangkau link mana pun. Unggah file statis hanya jika Anda mematikan sitemap CMS-nya.

Apakah crawler sitemap ini mematuhi robots.txt?

Ya. Ia membaca robots.txt lebih dulu sebagai DNSRobotSitemap, lalu jatuh ke aturan *, dan ia juga tidak menyertakan URL yang tidak boleh dirayapi Googlebot. Jika robots.txt menjawab error server atau 429, situsnya dianggap tertutup untuk crawler, sesuai standar, dan tidak ada yang dirayapi. Crawl-delay juga dipatuhi, jadi perayapan situs yang menetapkannya akan berjalan lebih lambat.

Bisakah alat ini merayapi situs yang dibangun dengan JavaScript?

Alat ini membaca HTML yang dikirim server, jadi situs yang menambahkan link-nya dengan JavaScript setelah halaman dimuat mungkin hanya menampilkan satu atau dua link. Alat ini mengatakannya apa adanya ketika itu terjadi, alih-alih memberi Anda sitemap berisi satu halaman, dan menawarkan dua jalan keluar: pakai URL dari sitemap situs itu saat ini, atau tempel maupun unggah daftar alamat Anda sendiri.

Apa itu IndexNow, dan apakah saya masih butuh sitemap dengannya?

IndexNow adalah cara memberi tahu mesin pencari tentang URL baru atau yang berubah begitu URL itu berubah. Satu pengiriman menjangkau Bing, Yandex, Naver, Seznam, dan lainnya, meskipun bukan Google, yang tidak ikut serta. IndexNow melengkapi sitemap, bukan menggantikannya: IndexNow untuk perubahan terbaru, sitemap untuk daftar lengkap halaman yang perlu diketahui sebuah crawler.