Trình tạo robots.txt

Tạo một robots.txt bạn tin được: mỗi quy tắc được giải thích ngay khi bạn gõ, tệp được công cụ kiểm tra robots.txt của chúng tôi đọc lại theo RFC 9309 và cách hiểu của chính Google, cùng kết luận tức thì cho bất kỳ trình thu thập và đường dẫn nào trước khi bạn công bố.

Mẫu có sẵn dựng từ tài liệu của WordPress, Shopify, Next.js và Google · các trình thu thập mà mỗi nhà vận hành công bố, xếp theo mục đích · quy tắc quyết định kèm số dòng · viết trong trình duyệt của bạn, không tải gì lên
Viết và kiểm tra trong trình duyệt

Mỗi host và mỗi giao thức cần một tệp riêng: www.example.com và example.com mỗi bên một tệp.

Bắt đầu từ
Mẫu này làm gì
  • Mọi trình thu thập đều được tải mọi URL trên site.
  • Dòng Sitemap: chỉ cho trình thu thập tới sitemap của bạn.
Điều mẫu này không làm
  • Nó không giữ kín được gì: robots.txt là tệp công khai, và chỉ là một lời yêu cầu chứ không phải ổ khóa.
  • Nó không yêu cầu công cụ tìm kiếm lập chỉ mục một trang. Thu thập và lập chỉ mục là hai việc tách biệt.

Nguồn: RFC 9309, đọc ngày 26 tháng 10, 2026.

Quy tắc

Mọi trình thu thập khác

User-agent: *

Mọi trình thu thập không có nhóm riêng sẽ đọc nhóm này.

  • Cho phép toàn bộ site.
Google bỏ qua nó; Bing thì đọc.

Trình thu thập theo mục đích

Chọn cách xử lý cho từng trình thu thập đã biết. Một trình thu thập có nhóm riêng chỉ đọc nhóm đó.

Công cụ tìm kiếm8

Chúng thu thập để xây dựng chỉ mục tìm kiếm. Trang bị chặn vẫn có thể được liệt kê nhờ liên kết từ nơi khác, nhưng không có gì trên trang được đọc.

  • GooglebotGoogleCó, theo nhà vận hành
  • Storebot-GoogleGoogleCó, theo nhà vận hành
  • BingbotMicrosoftCó, theo nhà vận hành
  • ApplebotAppleCó, theo nhà vận hành
  • Amzn-SearchBotAmazonCó, theo nhà vận hành
  • DuckDuckBotDuckDuckGoCó, theo nhà vận hành
  • YandexBotYandexCó, theo nhà vận hành
  • BaiduspiderBaiduNhà vận hành không nói rõ
Huấn luyện AI6

Chúng thu thập trang để huấn luyện mô hình. Một token riêng cho phép bạn từ chối việc huấn luyện mà vẫn có mặt trong kết quả tìm kiếm.

  • Google-ExtendedGoogleChỉ là token, không bao giờ gửi trong yêu cầu
  • GPTBotOpenAICó, theo nhà vận hành
  • ClaudeBotAnthropicCó, theo nhà vận hành
  • Applebot-ExtendedAppleChỉ là token, không bao giờ gửi trong yêu cầu
  • meta-externalagentMetaCó, theo nhà vận hành
  • AmazonbotAmazonCó, theo nhà vận hành
Câu trả lời AI4

Chúng tải trang để trả lời câu hỏi, kèm một liên kết dẫn về bạn.

  • OAI-SearchBotOpenAICó, theo nhà vận hành
  • Claude-SearchBotAnthropicCó, theo nhà vận hành
  • PerplexityBotPerplexityCó, theo nhà vận hành
  • meta-webindexerMetaCó, theo nhà vận hành
Theo yêu cầu của một người5

Chúng tải một trang vì có người yêu cầu, nên một số nhà vận hành nói rằng chúng có thể bỏ qua robots.txt.

Chặn những trình thu thập này là từ chối một con người, không phải một lượt thu thập: khi ai đó nhờ trợ lý AI mở một trang của bạn, trợ lý nào tuân theo tệp sẽ không đọc trang đó giúp họ. Nếu điều bạn muốn từ chối là việc huấn luyện, hãy chặn các trình thu thập huấn luyện ở trên.

  • ChatGPT-UserOpenAIKhông phải lúc nào cũng vậy, theo nhà vận hành
  • Claude-UserAnthropicCó, theo nhà vận hành
  • Perplexity-UserPerplexityKhông phải lúc nào cũng vậy, theo nhà vận hành
  • meta-externalfetcherMetaKhông phải lúc nào cũng vậy, theo nhà vận hành
  • Amzn-UserAmazonKhông phải lúc nào cũng vậy, theo nhà vận hành
Xem trước liên kết, quảng cáo và khác8

Xem trước liên kết, công cụ cho chủ site, kiểm tra quảng cáo, lưu trữ web, và những trình thu thập mà nhà vận hành nêu một việc khác hoặc không nêu gì.

  • Google-InspectionToolGoogleCó, theo nhà vận hành
  • GoogleOtherGoogleCó, theo nhà vận hành
  • AdsBot-GoogleGoogleCó, theo nhà vận hành
  • OAI-AdsBotOpenAINhà vận hành không nói rõ
  • facebookexternalhitMetaKhông phải lúc nào cũng vậy, theo nhà vận hành
  • meta-externaladsMetaCó, theo nhà vận hành
  • BytespiderByteDanceNhà vận hành không nói rõ
  • CCBotCommon CrawlCó, theo nhà vận hành

Sitemap

  • Nhập site của bạn ở trên và ô này sẽ tự điền.

Tệp

1 cảnh báo

robots.txt của bạn/robots.txt

2 dòng
  1. User-agent: *
  2. Allow: /

LỗiCảnh báoGhi chú23 B trên 500 KiB

Công cụ kiểm tra nhận xét gì

1 cảnh báo

  • Không có dòng SitemapCảnh báo

    Cần làm gì Đây là dòng rẻ nhất trong tệp và mọi trình thu thập đều đọc nó. Hãy thêm Sitemap: với địa chỉ đầy đủ của sitemap.

Test trước khi công bố

Chọn một trình thu thập và một đường dẫn: kết luận, quy tắc quyết định và nhóm mà trình thu thập đọc đều đến từ chính bộ so khớp của công cụ kiểm tra robots.txt.

Thử một đường dẫn
Trình thu thập
  • Trình thu thập này được phép yêu cầu URL.

    Nhóm được chọn

    User-agent: *bắt đầu ở dòng 1

    Không nhóm nào nêu tên trình thu thập này, nên nhóm * được áp dụng.

    Quyết định bởi

    Allow: /dòng 2

    Quy tắc này cũng bắt cả

    /any-page

    Phần được so sánh

    /

    Chỉ đường dẫn và chuỗi truy vấn được so sánh, từng byte một sau khi mã hóa phần trăm. Host, giao thức và fragment không bao giờ là một phần của quy tắc.

Cách tạo file robots.txt

Viết các quy tắc, lưu chúng thành một tệp văn bản thuần tên robots.txt, mã hóa UTF-8, rồi tải lên cấp cao nhất của site để tệp có tại https://example.com/robots.txt. Không có gì cần gửi: trình thu thập tự tìm tới địa chỉ đó.

Google gói điều này trong ba câu: “Phải đặt tên tệp là robots.txt. Trang web của bạn chỉ có thể có một tệp robots.txt. Tệp robots.txt phải nằm tại thư mục gốc trên máy chủ của trang web, tương ứng với phạm vi áp dụng của tệp.” Tệp phải là “tệp văn bản được mã hoá UTF-8”, và “các trình thu thập thông tin của Google sẽ tự động tìm và bắt đầu sử dụng tệp robots.txt của bạn.”

Trình tạo ở trên bắt đầu từ một mẫu có sẵn, giải thích từng quy tắc khi bạn gõ, và đọc lại kết quả bằng trình phân tích và bộ so khớp của công cụ kiểm tra robots.txt trước khi bạn sao chép. Tệp tải về có tên robots.txt: UTF-8 không có dấu thứ tự byte, chỉ dùng ký tự xuống dòng LF, và không có ngày tháng hay chú thích nào bạn không yêu cầu.

Bốn bước từ quy tắc tới một robots.txt hoạt động được
  1. 1Viết quy tắcBắt đầu từ một mẫu có sẵn, rồi thêm các nhóm và đường dẫn mà site của bạn cần.
  2. 2Lưu thành robots.txtVăn bản thuần, UTF-8, không có dấu thứ tự byte.
  3. 3Tải lên thư mục gốcTệp phải có ngay ở cấp cao nhất của host:https://example.com/robots.txt
  4. 4Test tệpỞ đây trước khi công bố, rồi test tệp thật bằng công cụ kiểm tra robots.txt.

Không có bước gửi: trình thu thập của Google tự tìm ra tệp.

Trình tạo robots.txt: mẫu WordPress, từng quy tắc được giải thích, tệp kèm số dòng và các phát hiệnTrình tạo robots.txt: mẫu WordPress, từng quy tắc được giải thích, tệp kèm số dòng và các phát hiệnMẫu này làm gìVà điều nó không làm: không mẫu nào ở đây giữ được một trang ở ngoài Google, và mẫu nào cũng nói rõ điều đó.Giải thích từng quy tắcNhững đường dẫn một quy tắc chặn và những đường dẫn nó bỏ sót, từ chính bộ so khớp quyết định mọi kết luận, cùng quy tắc dài hơn tạo ra ngoại lệ.Tệp và các phát hiệnTệp kèm số dòng, được bước rà soát của chính công cụ kiểm tra robots.txt đọc lại trước khi bạn sao chép.Kết luậnChọn một trình thu thập và một đường dẫn: được phép hay bị chặn, quy tắc đã quyết định kèm số dòng, và nhóm mà trình thu thập đọc.
Mẫu WordPress trong trình tạo: điều mẫu làm và không làm, từng quy tắc được giải thích từ bộ so khớp, tệp đúng như khi được công bố, và kết luận cho một trình thu thập và một đường dẫn. Chọn một con số để xem từng phần hiển thị gì.

Trong tệp robots.txt có gì, từng dòng một

Các nhóm và các dòng Sitemap. Một nhóm bắt đầu bằng một hoặc nhiều dòng User-agent nêu tên trình thu thập, tiếp theo là các quy tắc Allow và Disallow mà những trình thu thập đó tuân theo; một dòng Sitemap đứng riêng, nằm ngoài mọi nhóm.

RFC 9309 định nghĩa nhóm là “một hoặc nhiều dòng user-agent theo sau là một hoặc nhiều quy tắc”, và một trình thu thập tuân theo đúng một nhóm: nhóm nêu token sản phẩm của chính nó, hoặc nhóm * khi không nhóm nào nêu. Google đọc bốn trường và không trường nào khác: user-agent, allow, disallow và sitemap.

Tên trường không phân biệt chữ hoa chữ thường, còn đường dẫn thì có: trong ví dụ của chính Google, disallow: /file.asp áp dụng cho /file.asp “nhưng không áp dụng cho” /FILE.asp. Dòng Sitemap: phải là một địa chỉ đầy đủ có giao thức và host; trình tạo này từ chối mọi dạng khác và nói rõ lý do.

Một robots.txt, từng dòng một
robots.txt
  1. 1User-agent: *Mở đầu nhóm cho mọi trình thu thập không có nhóm riêng
  2. 2Disallow: /cart/Một đường dẫn mà các trình thu thập này không được tải
  3. 3Allow: /cart/helpMột ngoại lệ: dài hơn Disallow, nên nó thắng
  4. 4
  5. 5User-agent: GPTBotMở đầu nhóm nêu tên hai trình thu thập
  6. 6User-agent: ClaudeBot
  7. 7Disallow: /Cả hai đều bị chặn khỏi toàn bộ site
  8. 8
  9. 9Sitemap: https://www.example.org/sitemap.xmlNgoài mọi nhóm: một địa chỉ đầy đủ

Allow và Disallow, * và $: một quy tắc khớp như thế nào

Khi nhiều quy tắc cùng khớp một URL, quy tắc có đường dẫn dài nhất sẽ thắng, bất kể thuộc loại nào, và Allow thắng khi hòa. * thay cho một chuỗi ký tự bất kỳ và $ đánh dấu điểm kết thúc của URL; ngoài ra không ký tự nào trong đường dẫn mang nghĩa đặc biệt.

RFC 9309: “Kết quả khớp cụ thể nhất PHẢI được sử dụng. Kết quả khớp cụ thể nhất là kết quả có nhiều octet nhất”, và “nếu một quy tắc allow và một quy tắc disallow tương đương nhau, thì NÊN dùng quy tắc allow.” Tệp của chính WordPress hoạt động theo cách này: Disallow: /wp-admin/ đóng thư mục, còn Allow: /wp-admin/admin-ajax.php dài hơn mở một tệp bên trong nó.

Một quy tắc không có $ là một tiền tố, nên Disallow: /admin cũng chặn /administrator; hãy thêm dấu gạch chéo (/admin/) khi bạn muốn nói tới thư mục. Dưới mỗi quy tắc, trình soạn thảo ở trên hiển thị những đường dẫn nó bắt và một số đường dẫn nó không bắt, từ chính bộ so khớp quyết định mọi kết luận, và đánh dấu quy tắc nào luôn bị một quy tắc khác thắng.

* và $, và mỗi mẫu thật sự bắt được gì
MẫuBắt đượcKhông bắt được
/admin/admin/ · /administrator · /admin-tools/wp-admin
/admin//admin/users/administrator
/*.pdf$/files/report.pdf/report.pdf?v=2
/*?/search?q=x/search

?, ., [ và + là ký tự thường. robots.txt không có biểu thức chính quy.

Hai quy tắc cùng khớp một URL: đường dẫn dài hơn sẽ thắng
/admin/report.pdf
  • Disallow: /admin/7 ký tự
  • Allow: /admin/report.pdf17 ký tự

Allow thắng: nó khớp được phần dài hơn của đường dẫn.

Hòa tuyệt đối
Disallow: /files/7 ký tựAllow: /files/7 ký tự

Dài bằng nhau, nên Allow thắng. “Quy tắc có mức hạn chế thấp nhất”, như cách Google nói.

Tệp ví dụ thuộc về www.example.org, một site hư cấu: không có robots.txt thật nào bị đem ra làm ví dụ lỗi.

robots.txt cho WordPress, Shopify và Next.js

Cả ba đều đã phục vụ sẵn một tệp, và các mẫu có sẵn ở trên viết đúng những gì tài liệu của từng nền tảng mô tả: WordPress chặn khu vực quản trị nhưng cho phép admin-ajax.php, Shopify chặn giỏ hàng, trang thanh toán và các bộ sưu tập đã lọc hoặc đã sắp xếp, còn Next.js phục vụ tệp bạn đặt trong app/robots.txt.

WordPress viết tệp của mình bằng code, trong do_robots(): User-agent: *, một Disallow cho đường dẫn quản trị và một Allow cho admin-ajax.php, cộng thêm, trên một site công khai từ WordPress 5.5, một dòng Sitemap: cho /wp-sitemap.xml. Khi ô “Nếu tích chọn, Trang web sẽ được cài đặt để ẩn khỏi công cụ tìm kiếm” được đánh dấu, WordPress 5.3 trở lên không còn ghi Disallow: / nữa mà dùng thẻ meta robots.

Shopify nói tệp mặc định của họ “phù hợp với hầu hết cửa hàng”. Không có tệp nào để tải lên: muốn thay đổi thì phải sửa template robots.txt.liquid của theme, điều mà Shopify gọi là “một tùy chỉnh không được hỗ trợ”. Next.js phục vụ app/robots.txt đúng như bạn viết, hoặc dựng tệp từ app/robots.ts.

WordPress, Shopify và Next.js phục vụ gì, và bạn sửa nó ở đâu
WordPress
  1. 1User-agent: *
  2. 2Allow: /wp-admin/admin-ajax.php
  3. 3Disallow: /wp-admin/
  4. 4
  5. 5Sitemap: https://example.com/wp-sitemap.xml

Do chính WordPress viết. Sửa bằng plugin hoặc filter robots_txt.

Shopify
  1. 1User-agent: *
  2. 2Allow: /
  3. 3Disallow: /admin
  4. 4Disallow: /cart/
  5. 5Disallow: /checkout
  6. 6Disallow: /checkouts/
  7. 7Disallow: /account
  8. 8Disallow: /orders
  9. 9Disallow: /collections/*+*
  10. 10Disallow: /collections/*sort_by*
  11. 11
  12. 12Sitemap: https://example.com/sitemap.xml

Tệp mặc định của Shopify. Sửa trong template robots.txt.liquid của theme.

Next.js
  1. 1User-agent: *
  2. 2Allow: /
  3. 3
  4. 4Sitemap: https://example.com/sitemap.xml

Tệp của chính bạn trong app/robots.txt, hoặc app/robots.ts, được phục vụ tại /robots.txt.

Mỗi tệp là những gì mẫu cùng tên viết cho example.com.

Chặn trình thu thập AI: cách nào thật sự hiệu quả

Một nhóm nêu tên trình thu thập, với Disallow: / bên dưới, có tác dụng với mọi trình thu thập mà nhà vận hành nói là tuân theo robots.txt, và chỉ với những trình thu thập đó. Đây là một lời yêu cầu mà trình thu thập tôn trọng, không phải ổ khóa: trình thu thập nào phớt lờ tệp vẫn có thể tải mọi trang.

Phần lớn công ty AI vận hành nhiều hơn một trình thu thập, nên hãy quyết định theo từng việc. Chặn một trình thu thập huấn luyện như GPTBot hay ClaudeBot là chặn trình thu thập lấy trang cho mô hình; chặn một trình thu thập câu trả lời như OAI-SearchBot hay PerplexityBot còn đưa bạn ra khỏi các liên kết mà những trợ lý đó hiển thị. Token huấn luyện của Google không phải Googlebot: “Google-Extended không ảnh hưởng đến việc đưa một trang web vào Google Tìm kiếm và cũng không dùng làm tín hiệu xếp hạng trên Google Tìm kiếm.”

Loại thứ ba thì khác. ChatGPT-User, Claude-User, Perplexity-User và Amzn-User tải một trang vì có người nhờ trợ lý mở trang đó, nên chặn chúng là từ chối chính người đó, và một số nhà vận hành nói các trình thu thập này dù sao cũng có thể bỏ qua robots.txt. Vì thế danh sách trình thu thập ở trên để chúng trong một mục riêng.

Ba việc của các trình thu thập AI, và điều mỗi nhà vận hành nói về robots.txt
Nhà vận hànhHuấn luyệnCâu trả lời AIYêu cầu của một người
OpenAIGPTBotTuân theoOAI-SearchBotTuân theoChatGPT-UserCó thể bỏ qua
AnthropicClaudeBotTuân theoClaude-SearchBotTuân theoClaude-UserTuân theo
PerplexityKhông có trình thu thập nàyPerplexityBotTuân theoPerplexity-UserCó thể bỏ qua
GoogleGoogle-ExtendedChỉ là tokenKhông có trình thu thập nàyKhông có trình thu thập này
AppleApplebot-ExtendedChỉ là tokenKhông có trình thu thập nàyKhông có trình thu thập này
Metameta-externalagentTuân theometa-webindexerTuân theometa-externalfetcherCó thể bỏ qua
AmazonAmazonbotTuân theoKhông có trình thu thập nàyAmzn-UserCó thể bỏ qua
  • Huấn luyệnThu thập trang để huấn luyện mô hình.
  • Câu trả lời AITải trang để trả lời một câu hỏi, thường kèm liên kết dẫn về bạn.
  • Yêu cầu của một ngườiTải một trang vì có người yêu cầu. Một số nhà vận hành nói trình thu thập này có thể bỏ qua robots.txt.

robots.txt không giữ được một trang ở ngoài Google: hãy dùng noindex

Nó yêu cầu trình thu thập không tải một trang; nó không yêu cầu công cụ tìm kiếm không liệt kê trang đó. Google “vẫn có thể lập chỉ mục URL và hiển thị URL đó trong các kết quả tìm kiếm (không có đoạn trích)” khi các trang khác liên kết tới nó. Để giữ một trang ở ngoài, hãy dùng noindex, và để trang đó thu thập được để thẻ có thể được đọc.

Search Console gọi đó là “Đã lập chỉ mục, mặc dù bị robots.txt chặn”. Và Google nói rõ rằng “Để quy tắc noindex có hiệu lực, không được dùng tệp robots.txt để chặn trang hay tài nguyên”: noindex của một trang bị chặn không bao giờ được thấy, vì trình thu thập không bao giờ tải trang đó.

Đó là lý do mỗi mẫu có sẵn ở trên đều nói điều nó không làm. Disallow: / của mẫu staging giữ các trình thu thập lịch sự ở ngoài, nhưng một URL staging được liên kết từ bất cứ đâu vẫn có thể được liệt kê: hãy đặt site staging sau một mật khẩu, và đừng bao giờ đưa dòng đó lên site đang chạy thật.

Vì sao một trang bị chặn thu thập vẫn có thể xuất hiện trên Google, và vì sao noindex của nó không bao giờ được đọc
  1. Trình thu thập
  2. Đọc robots.txt
  3. URL bị chặn
  4. Không tải trang
Chính trang đó<meta name="robots" content="noindex">Không bao giờ được đọc
Chỉ mục tìm kiếmURL, không có mô tả
Search Console gọi đây làĐã lập chỉ mục, mặc dù bị robots.txt chặn

Để giữ một trang ở ngoài: cho trình thu thập vào và dùng noindex, hoặc yêu cầu đăng nhập.

Tệp robots.txt phải nằm ở đâu

Ở thư mục gốc của host mà nó áp dụng, dưới tên /robots.txt, mỗi host và mỗi giao thức một tệp. https://example.com/robots.txt không nói gì về https://www.example.com hay https://shop.example.com: mỗi host cần một tệp riêng, và robots.txt nằm trong một thư mục con không bao giờ được đọc.

Google: “Bạn phải đặt tệp robots.txt trong thư mục cấp cao nhất của một trang web và qua một giao thức được hỗ trợ.” Báo cáo robots.txt của Search Console liệt kê riêng các tệp của 20 host hàng đầu trong một tài sản, tính HTTP và HTTPS tách biệt.

Nhập site của bạn ở đầu trình tạo, nó sẽ cho bạn địa chỉ chính xác mà tệp phải có, điền sẵn dòng Sitemap: cho host đó, và dẫn tới công cụ kiểm tra robots.txt, nơi đọc tệp thật khi nó đã lên mạng.

Mỗi host và mỗi giao thức một robots.txt
Tệp nàyÁp dụng cho
https://example.com/robots.txtMọi URL trên https://example.com
https://www.example.com/robots.txtChỉ www.example.com: một host riêng
http://example.com/robots.txtChỉ site http://: một giao thức riêng
https://shop.example.com/robots.txtChỉ shop.example.com
https://example.com/blog/robots.txtKhông gì cả: robots.txt nằm trong thư mục con không bao giờ được đọc

Crawl-delay, Host, Clean-param và Content-Signal

Google không đọc lệnh nào trong số đó. Crawl-delay được Bing đọc, Clean-param được Yandex đọc, Host không nằm trong chuẩn cũng không có trong danh sách của Google, còn Content-Signal của Cloudflare nêu nội dung của bạn được dùng vào việc gì chứ không phải được thu thập những gì.

Google liệt kê bốn trường của mình và nói thêm rằng “các trường khác như crawl-delay không được hỗ trợ”. Blog của chính Bing viết “lệnh crawl-delay chỉ chấp nhận giá trị là số nguyên dương”, nên trình soạn thảo từ chối một số thập phân thay vì ghi nó ra. Không đọc được trang trợ giúp hiện tại của Bing để xác nhận phạm vi hay đơn vị, nên trang này không nêu điều nào trong hai.

Không lệnh nào trong số đó làm hỏng tệp: RFC 9309 yêu cầu việc phân tích các bản ghi khác “KHÔNG ĐƯỢC ảnh hưởng tới việc phân tích các bản ghi được định nghĩa rõ ràng”. Trong bốn lệnh, trình tạo chỉ ghi Crawl-delay, kèm nhãn cho biết ai đọc nó.

Công cụ tìm kiếm nào đọc lệnh nào
LệnhGoogleBingYandex
User-agentCó đọcCó đọcCó đọc
AllowCó đọcCó đọcCó đọc
DisallowCó đọcCó đọcCó đọc
SitemapCó đọcCó đọcCó đọc
Crawl-delayBỏ quaCó đọcChưa xác nhận
Clean-paramBỏ quaBỏ quaCó đọc
HostBỏ quaBỏ quaChưa xác nhận
noindexBỏ quaChưa xác nhậnChưa xác nhận
Content-SignalBỏ quaChưa xác nhậnChưa xác nhận
  • Google hỗ trợ bốn trường và nói rõ điều đó: user-agent, allow, disallow và sitemap.
  • Blog của chính Bing xác nhận Crawl-delay. Chúng tôi không nêu phạm vi giá trị hay đơn vị: không đọc được trang trợ giúp hiện tại của Bing để kiểm chứng hai điều đó.
  • Bị Google loại bỏ năm 2019, và chưa bao giờ là một phần của chuẩn.
  • Content Signals Policy của Cloudflare: một tuyên bố về cách nội dung được phép sử dụng, không phải quy tắc thu thập.

Cách test tệp robots.txt bạn vừa viết

Hai lần. Trước khi công bố, với Test trước khi công bố ở trên: chọn một trình thu thập và một đường dẫn rồi xem quy tắc quyết định. Sau khi tải lên, hãy chạy công cụ kiểm tra robots.txt với tệp thật, vì câu trả lời của máy chủ cũng quan trọng ngang với nội dung tệp.

Một tệp trả về 404 được hiểu như không có tệp, nên mọi trình thu thập được lấy mọi thứ; một tệp trả về 500 hay 503 nghĩa là trình thu thập tuân theo chuẩn không được lấy gì. RFC 9309 §2.3.1.4: trình thu thập “PHẢI mặc định là bị cấm hoàn toàn”. Google làm dịu điều đó bằng một thang bậc của riêng mình, như trong hình.

Công cụ kiểm tra robots.txt của chính Google đã không còn: Search Central thông báo ngừng cung cấp nó ngày 15 tháng 11 năm 2023, và báo cáo robots.txt thay thế nó chỉ cho thấy tệp Google đã tải, không test một URL với một quy tắc. Test trước khi công bố, trong trình tạo ở trên, và công cụ kiểm tra robots.txt làm được việc test đó.

Mỗi câu trả lời cho GET /robots.txt có nghĩa gì với toàn bộ site
Máy chủ trả vềKhi đó trình thu thập
200Tuân theo các quy tắc trong tệp.
301, 302Đi theo ít nhất năm bước chuyển hướng rồi dừng lại. Khi đó Google coi tệp là 404.
403, 404Thu thập mọi thứ, như thể không có tệp.
429Không thu thập gì. Google xếp mã này cùng các câu trả lời 5xx, không phải 4xx.
500, 503Không thu thập gì cả, theo chuẩn.
Không có tên nàyKhông có site nào để đọc, nên không có kết luận.
Google làm gì với một 5xx, theo từng ngày
  1. 112 giờ đầuNgừng thu thập site và tiếp tục thử tải lại tệp
  2. 2Tối đa 30 ngàyDùng bản robots.txt tốt gần nhất
  3. 3Sau 30 ngàyNếu site vẫn truy cập được, xử lý như thể không có robots.txt

Những lỗi robots.txt khiến site mất lưu lượng truy cập

Mỗi lỗi đắt giá chỉ là một dòng ngắn: một Disallow: / sót lại từ staging, một tiền tố vươn xa hơn ý bạn, một dòng Sitemap: viết thành đường dẫn, một đường dẫn thiếu dấu gạch chéo đầu, và một dòng noindex mà Google đã thôi đọc từ năm 2019.

Mỗi lỗi đều được bắt ở đây trước khi bạn sao chép tệp. Bước rà soát của chính công cụ kiểm tra chạy khi bạn gõ và các phát hiện nằm ngay dưới tệp; một dòng mà trình thu thập sẽ bác bỏ thì không bao giờ được ghi ra, và trình soạn thảo nói rõ ngay trên hàng đó vì sao nó bị để ngoài.

Có một lỗi là một cặp, không phải một dòng: một URL bị chặn ở đây mà cũng mang noindex trên trang. Trình thu thập không bao giờ tải trang, nên không bao giờ thấy noindex, và URL có thể vẫn nằm trong kết quả tìm kiếm. Hãy chọn một: chặn việc thu thập, hoặc cho trình thu thập vào và bảo nó đừng lập chỉ mục.

Nguồn

Sáu lỗi robots.txt, và tác dụng thật sự của từng lỗi
Dòng như đã viếtĐiều thực sự xảy ra
Disallow: /Sót lại từ staging: toàn bộ site đang chạy thật bị đóng với mọi trình thu thập.
Disallow: /adminCũng chặn /administrator và /admin-tools. Hãy thêm dấu gạch chéo ở cuối.
Allow: / dưới User-agent: *Không bao giờ được đọc bởi trình thu thập có nhóm riêng ở bất kỳ đâu trong tệp.
Sitemap: /sitemap.xmlDòng Sitemap phải là địa chỉ đầy đủ kèm host.
Disallow: adminĐường dẫn bắt đầu từ /. Quy tắc này không khớp gì cả.
noindex: /private/Đã chết từ năm 2019. Trang vẫn có thể được thu thập và lập chỉ mục.

Trình tạo robots.txt: câu hỏi thường gặp

Làm sao để tạo file robots.txt?

Hãy chọn một mẫu có sẵn ở trên hoặc tự viết quy tắc, rồi sao chép hoặc tải tệp xuống. Lưu nó dưới dạng văn bản thuần UTF-8 tên robots.txt và tải lên thư mục gốc của site, để tệp có tại https://your-site/robots.txt. Không có bước gửi: trình thu thập của Google tự tìm ra tệp. Sau đó hãy chạy công cụ kiểm tra robots.txt với địa chỉ thật để chắc rằng máy chủ trả về 200.

Đặt tệp robots.txt ở đâu?

Ở thư mục gốc của host mà nó áp dụng, dưới tên /robots.txt, không bao giờ trong thư mục con, nơi không trình thu thập nào tìm tới. Mỗi host và giao thức cần tệp riêng, nên example.com, www.example.com và shop.example.com mỗi bên phục vụ một robots.txt. Trên Shopify không có tệp để tải lên: bạn sửa template robots.txt.liquid của theme. Với Next.js, tệp nằm trong thư mục app.

Tôi có thật sự cần tệp robots.txt không?

Không bắt buộc. Khi site không có robots.txt và địa chỉ trả về 404, trình thu thập được tải mọi thứ, và RFC 9309 cho phép điều đó. Riêng dòng Sitemap đã đáng để có tệp, cùng với việc giữ trình thu thập tránh xa giỏ hàng, kết quả tìm kiếm nội bộ hay vô số URL bộ lọc. Quan trọng nhất là địa chỉ không bao giờ trả về lỗi máy chủ: một 5xx bảo trình thu thập tuân thủ đừng tải gì cả.

robots.txt có xóa được một trang khỏi Google không?

Không. Nó ngăn trình thu thập tải trang, không ngăn Google liệt kê trang. Một URL bị chặn được liên kết từ nơi khác vẫn có thể được lập chỉ mục và hiển thị không kèm mô tả, với trạng thái Search Console “Đã lập chỉ mục, mặc dù bị robots.txt chặn”. Để giữ trang ở ngoài, hãy cho Google thu thập và dùng thẻ meta noindex hoặc header X-Robots-Tag, hoặc đặt nó sau lớp đăng nhập. Đừng vừa chặn vừa noindex cùng một URL.

Chặn trình thu thập AI có ảnh hưởng tới thứ hạng Google không?

Không, nếu điều bạn từ chối là huấn luyện AI. Google-Extended, token Google đọc cho việc huấn luyện mô hình, tách biệt với Googlebot, và Google nói nó không ảnh hưởng đến việc đưa một site vào Google Tìm kiếm và không phải tín hiệu xếp hạng. Chặn GPTBot, ClaudeBot hay các trình thu thập huấn luyện khác cũng không thay đổi gì với công cụ tìm kiếm, vì mỗi trình thu thập chỉ đọc nhóm nêu tên nó.

Có nên chặn ChatGPT-User và Claude-User không?

Chỉ khi bạn muốn từ chối con người. Chúng tải một trang vì có người nhờ ChatGPT hay Claude mở trang đó, nên chặn chúng là ngăn trợ lý của người đó đọc trang của bạn; nó không ngăn một lượt thu thập. Một số nhà vận hành nói các trình thu thập này dù sao cũng có thể bỏ qua robots.txt. Nếu bạn phản đối việc huấn luyện, hãy chặn GPTBot và ClaudeBot: mẫu Không huấn luyện AI làm đúng điều đó.

Mỗi subdomain có cần robots.txt riêng không?

Có. Một robots.txt chỉ áp dụng cho host và giao thức phục vụ nó, nên blog.example.com, shop.example.com và www.example.com mỗi bên cần một tệp riêng, và quy tắc trong example.com/robots.txt không bao giờ chạm tới chúng. Báo cáo robots.txt của Search Console cũng liệt kê tệp theo từng host vì lẽ đó. Hãy lần lượt nhập từng host vào trình tạo: nó điền đúng dòng Sitemap cho mỗi host.

Google có hỗ trợ Crawl-delay không?

Không. Google liệt kê bốn trường được hỗ trợ — user-agent, allow, disallow và sitemap — và nói các trường như crawl-delay không được hỗ trợ. Bing thì có đọc, và blog của chính Bing nói giá trị phải là số nguyên dương, vì thế trình tạo này từ chối số thập phân. Một dòng Crawl-delay không gây hại, nhưng sẽ không làm Googlebot chậm lại, và Search Console cũng không còn tùy chọn tốc độ thu thập.

robots.txt mặc định của WordPress có gì?

Ba dòng, và trên site công khai thì thêm một dòng Sitemap: User-agent: *, một Disallow cho /wp-admin/, một Allow cho /wp-admin/admin-ajax.php, và từ WordPress 5.5 là một dòng Sitemap cho /wp-sitemap.xml. Đó là những gì hàm do_robots() của chính WordPress viết ra. Allow dài hơn thắng Disallow, nên admin-ajax.php vẫn thu thập được. Hãy chọn mẫu WordPress để bắt đầu từ đúng tệp đó.

Làm sao để test tệp robots.txt của tôi?

Trước khi công bố, hãy dùng Test trước khi công bố trên trang này: chọn một trình thu thập và một đường dẫn để xem được phép hay bị chặn, quy tắc đã quyết định kèm số dòng, và nhóm mà trình thu thập đã đọc. Sau khi tải tệp lên, hãy chạy công cụ kiểm tra robots.txt với site thật. Nó tải tệp thật, nên còn cho bạn biết mã trạng thái của máy chủ có ý nghĩa gì với mọi trình thu thập.

Vì sao quy tắc Allow của tôi không có tác dụng?

Thường là vì một Disallow dài hơn khớp cùng URL: đường dẫn dài nhất thắng, bất kể loại nào, và Allow chỉ thắng khi hòa. Hoặc trình thu thập có nhóm riêng, nên không bao giờ đọc nhóm * chứa Allow của bạn. Trình soạn thảo ở trên đánh dấu quy tắc luôn bị một quy tắc khác thắng, và Test trước khi công bố nêu quy tắc quyết định cùng nhóm mà trình thu thập đã đọc.

Trình tạo này có miễn phí không, và có tải tệp của tôi lên không?

Miễn phí, không cần đăng ký và không giới hạn lượt dùng mỗi ngày. Mọi thứ diễn ra trong trình duyệt của bạn: tệp được viết, phân tích và kiểm tra trên trang này, và không gì bạn gõ bị gửi đi đâu. Liên kết ra ngoài chỉ có nguồn của các mẫu có sẵn và công cụ kiểm tra robots.txt, công cụ này chỉ tải tệp thật của bạn từ máy chủ của chúng tôi khi bạn mở nó và yêu cầu kiểm tra.

Còn thiếu điều gì?Đề xuất tính năng hoặc công cụ mới