Công Cụ Kiểm Tra Robots.txt Làm Gì?
Robots.txt là file văn bản thuần đặt tại thư mục gốc của website (https://example.com/robots.txt), cho các crawler biết chúng được phép tải những URL nào. Chỉ một dòng sai cũng có thể ẩn toàn bộ website khỏi Google, hoặc để crawler AI đọc những trang bạn muốn giữ kín.
Công cụ kiểm tra robots.txt này tải file theo cách một crawler làm, đọc mọi quy tắc bằng logic so khớp của Google và cho bạn biết, với bất kỳ URL và bot nào, URL đó được phép hay bị chặn, cùng dòng nào đã quyết định kết quả. Google đã gỡ công cụ robots.txt Tester khỏi Search Console vào tháng 12 năm 2023, nên đây là cách nhanh để test quy tắc trước và sau khi bạn thay đổi chúng.
Cách Kiểm Tra Robots.txt Của Bạn
Nhập tên miền như example.com, hoặc URL đầy đủ của một trang để test ngay trang đó. Công cụ tải /robots.txt từ thư mục gốc của website và đi theo các chuyển hướng.
Phản hồi 200 nghĩa là các quy tắc có hiệu lực. 404 nghĩa là crawler được phép tải mọi thứ. Lỗi máy chủ khiến Google ngừng thu thập dữ liệu website cho đến khi file tải được trở lại.
Nhập đường dẫn như /blog/post?id=1 và chọn một crawler. Bạn sẽ thấy URL được phép hay bị chặn, cùng quy tắc và số dòng chính xác đã khớp.
Chuyển sang Dán robots.txt để chỉnh bản nháp và xem kết quả ngay lập tức, sau đó xuất bản và kiểm tra lại file đang chạy thật.
Advertisement
Crawler Đọc Robots.txt Như Thế Nào?
Google, Bing và hầu hết các crawler đàng hoàng đều tuân theo RFC 9309, tiêu chuẩn loại trừ robot (robots exclusion standard). Bốn quy tắc sau quyết định gần như mọi kết quả:
Crawler chỉ tuân theo nhóm có User-agent cụ thể nhất khớp với tên của nó. Nếu Googlebot có nhóm riêng, nó bỏ qua hoàn toàn nhóm User-agent: *.
Khi nhiều quy tắc cùng khớp một URL, quy tắc có đường dẫn dài nhất sẽ thắng. Allow: /shop/sale/ thắng Disallow: /shop/ với các trang nằm trong /shop/sale/.
Nếu một quy tắc Allow và một quy tắc Disallow dài bằng nhau, Google chọn quy tắc ít hạn chế hơn, tức là Allow.
* khớp với bất kỳ chuỗi ký tự nào và $ đánh dấu điểm kết thúc của URL. Disallow: /*.pdf$ chặn mọi file PDF nhưng không chặn /file.pdf?download=1.
Ý Nghĩa Mã Trạng Thái HTTP Của Robots.txt
Crawler phản ứng với mã phản hồi trước khi đọc bất kỳ quy tắc nào. Đây là cách Google xử lý từng trường hợp:
File được đọc và các quy tắc được tuân theo. Google đọc 500 KiB đầu tiên và bỏ qua mọi thứ phía sau.
Google đi theo ít nhất năm lần chuyển hướng. Nếu vẫn chưa đến được file robots.txt, Google coi như file không tồn tại.
Được xử lý như thể không có robots.txt: mọi URL đều có thể được thu thập. 429 Too Many Requests là ngoại lệ.
Google coi toàn bộ website là bị chặn trong suốt thời gian lỗi. Sau 30 ngày, Google dùng bản sao đã lưu gần nhất, hoặc coi như không có hạn chế nào nếu không có bản sao.
Advertisement
Chặn Crawler AI Bằng Robots.txt
Các công ty AI dùng tên crawler riêng cho việc huấn luyện mô hình, tìm kiếm AI và tải trang theo yêu cầu, nên bạn có thể chặn một loại mà không ảnh hưởng đến các loại khác. Chặn Google-Extended ngăn nội dung của bạn được dùng cho Gemini nhưng không ảnh hưởng đến Google Search; chặn Googlebot thì có.
Bảng Crawler AI của công cụ cho thấy ngay 13 bot AI nào được robots.txt của bạn cho vào. Để chặn các crawler huấn luyện chính, hãy thêm:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /Những Lỗi Robots.txt Thường Gặp
Dòng `Disallow: /` còn sót lại từ website staging sẽ chặn mọi thứ. Đây là lý do phổ biến nhất khiến một website mới mãi không xuất hiện trên Google.
Dùng robots.txt để ẩn trang. URL bị chặn vẫn có thể được lập chỉ mục nhờ các liên kết, chỉ là không có mô tả. Để giữ một trang khỏi kết quả tìm kiếm, hãy cho phép thu thập trang đó và thêm thẻ meta
noindexhoặc headerX-Robots-Tag.Dòng `Noindex:` trong robots.txt. Google đã ngừng hỗ trợ từ tháng 9 năm 2019; các dòng này bị bỏ qua.
Chặn CSS và JavaScript. Google hiển thị (render) trang giống một trình duyệt; các file bị chặn có thể khiến trang của bạn trông như bị lỗi trong mắt Google.
Sai chữ hoa, chữ thường. Tên chỉ thị không phân biệt chữ hoa chữ thường, nhưng đường dẫn thì có:
Disallow: /Admin/không chặn/admin/.Dùng một file cho mọi subdomain. Robots.txt chỉ áp dụng cho chính host và giao thức của nó.
blog.example.comcần file riêng.Đặt Crawl-delay cho Google. Googlebot bỏ qua chỉ thị này, còn Bing thì tuân theo.
Advertisement
Ví Dụ Robots.txt
Sao chép mẫu bạn cần, rồi dán toàn bộ file vào công cụ kiểm tra để test:
User-agent: *
Disallow:User-agent: *
Disallow: /admin/
Allow: /admin/public/User-agent: *
Disallow: /*?
Disallow: /*.pdf$Sitemap: https://example.com/sitemap.xmlThêm Công Cụ SEO Và Thu Thập Dữ Liệu
Xây dựng và kiểm tra phần còn lại của cấu hình thu thập dữ liệu: