Cách kiểm tra và xử lý lỗi “Indexed, though blocked by robots.txt”

Bạn có thể gặp thông báo “Indexed, though blocked by robots.txt” khi kiểm tra website bằng Google Search Console. Điều này cho thấy Google đã biết và lập chỉ mục một URL, dù robots.txt đang ngăn Google thu thập dữ liệu URL đó. Đây không phải lúc nào cũng là lỗi nghiêm trọng, nhưng nó cho thấy tín hiệu kiểm soát thu thập dữ liệu và lập chỉ mục đang chưa thống nhất. Bài viết giúp bạn xác định nguyên nhân, lựa chọn cách xử lý phù hợp và tránh chặn nhầm những URL quan trọng.

“Indexed, though blocked by robots.txt” nghĩa là gì?

Thông báo “Indexed, though blocked by robots.txt” có nghĩa Google đã lập chỉ mục một URL nhưng không thể thu thập dữ liệu URL đó vì website đang sử dụng robots.txt để ngăn bot truy cập.

Điểm quan trọng bạn cần hiểu là thu thập dữ liệu và lập chỉ mục là 2 quá trình khác nhau.

Robots.txt chủ yếu kiểm soát việc bot có được phép truy cập URL hay không. Nó không phải công cụ yêu cầu Google xóa URL khỏi chỉ mục. Vì vậy, Google vẫn có thể biết đến một URL thông qua liên kết nội bộ, liên kết từ website khác hoặc những nguồn khác rồi đưa URL vào chỉ mục mà chưa cần truy cập nội dung trang.

Hộp ghi nhớ: Nếu bạn muốn một URL không xuất hiện trên Google, chỉ chặn URL bằng robots.txt thường chưa đủ. Google cần có khả năng thu thập URL để đọc tín hiệu noindex. Vì vậy, robots.txt và noindex không nên được xem là 2 phương án có thể thay thế cho nhau.

Cách xử lý “Indexed, though blocked by robots.txt”

Việc đầu tiên bạn cần xác định là:

Bạn có muốn URL này xuất hiện trên Google hay không?

Câu trả lời sẽ quyết định hướng xử lý.

Nếu URL không có giá trị xuất hiện trên kết quả tìm kiếm, bạn có thể sử dụng thẻ meta robots với giá trị noindex.

Tuy nhiên, URL cần cho phép Google thu thập dữ liệu để bot có thể đọc được chỉ thị noindex.

Ví dụ:

<meta name="robots" content="noindex">

Nếu URL đang bị robots.txt chặn, Google có thể không truy cập được trang và không nhìn thấy thẻ noindex. Khi đó, URL vẫn có khả năng tồn tại ở chỉ mục nếu Google tìm thấy đủ tín hiệu để xác định URL đó.

Bạn có thể tham khảo hướng dẫn chính thức của Google về robots.txt và kiểm soát việc lập chỉ mục qua Google Search Central.

Trường hợp URL được canonical về trang khác

Nếu URL không cần xuất hiện độc lập vì nó là một phiên bản trùng lặp hoặc gần trùng lặp, bạn không nên tùy tiện thêm noindex.

Thay vào đó, hãy kiểm tra tín hiệu canonical.

URL cần được phép thu thập để Google có thể đọc các tín hiệu liên quan và xác định URL chính. Trang chính cũng nên có canonical rõ ràng.

Hộp ghi nhớ: Noindex phù hợp khi bạn muốn URL không được lập chỉ mục. Canonical phù hợp khi bạn muốn báo hiệu URL nào là phiên bản chính giữa nhiều URL tương tự. Robots.txt chủ yếu kiểm soát khả năng thu thập dữ liệu.

Trường hợp bạn muốn URL được lập chỉ mục

Nếu URL thực sự quan trọng và cần xuất hiện trên Google, bạn phải tìm nguyên nhân khiến Google không thể thu thập dữ liệu.

Có 4 nhóm nguyên nhân bạn nên kiểm tra:

• Quy tắc chặn trực tiếp từ robots.txt
• Quy tắc chặn xảy ra không ổn định
• Chặn theo user agent
• Chặn theo địa chỉ IP

Hãy kiểm tra theo thứ tự này để tránh mất thời gian tìm kiếm ở những lớp kỹ thuật phức tạp khi nguyên nhân thực tế chỉ nằm ở robots.txt.

Kiểm tra robots.txt có đang chặn URL không

Đây thường là nguyên nhân dễ xác định nhất.

Bạn có thể mở tệp robots.txt của website bằng cách truy cập:

https://tenmiencuaban.com/robots.txt

Bạn cũng có thể sử dụng công cụ kiểm tra robots.txt của Google Search Console để xem URL có đang bị quy tắc nào chặn hay không.

Một quy tắc thường gặp có dạng:

User agent: *
Disallow: /

Quy tắc này có thể ngăn bot truy cập toàn bộ website.

Một trường hợp khác là chỉ chặn một thư mục:

User agent: *
Disallow: /private/

Khi đó, những URL thuộc thư mục tương ứng có thể không được Google thu thập.

Bạn cần đặc biệt cẩn thận nếu website vừa ra mắt hoặc vừa thực hiện chuyển đổi hệ thống. Một cấu hình dùng cho môi trường thử nghiệm có thể vô tình được đưa lên website thật.

Kiểm tra robots.txt bằng Google Search Console

Bạn có thể sử dụng công cụ kiểm tra robots.txt của Google để xác định URL có bị chặn hay không.

Khi công cụ xác nhận URL bị chặn, hãy kiểm tra:

• User agent nào đang bị áp dụng
• Quy tắc Disallow nào đang tác động
• Đường dẫn URL có nằm bên dưới thư mục bị chặn không
• Quy tắc đó có thực sự cần thiết không

Nếu phát hiện quy tắc chặn nhầm URL quan trọng, hãy chỉnh sửa robots.txt rồi kiểm tra lại.

Gợi ý cho bạn: Đừng chỉ nhìn vào việc URL bị chặn. Hãy xác định lý do URL bị chặn. Một quy tắc robots.txt có thể hoàn toàn đúng với trang quản trị nhưng lại gây vấn đề nếu vô tình áp dụng cho thư mục chứa nội dung SEO.

Cách xử lý trên WordPress

Nếu toàn bộ website hoặc một nhóm lớn URL gặp vấn đề, bạn nên kiểm tra cấu hình WordPress trước.

Đặc biệt, website mới xây dựng hoặc vừa chuyển đổi nền tảng có thể còn lưu cấu hình yêu cầu công cụ tìm kiếm không lập chỉ mục website.

Bạn có thể kiểm tra phần cài đặt hiển thị với công cụ tìm kiếm của WordPress.

Nếu thiết lập ngăn công cụ tìm kiếm lập chỉ mục website đang được bật, hãy kiểm tra lại mục này và tắt khi website đã sẵn sàng xuất hiện trên Google.

Nếu sử dụng Yoast SEO

Với website sử dụng Yoast SEO, bạn có thể kiểm tra và chỉnh sửa robots.txt thông qua khu vực quản trị mà plugin cung cấp.

Hãy kiểm tra xem có quy tắc Disallow nào đang chặn nhầm URL quan trọng hay không.

Nếu sử dụng Rank Math

Rank Math cũng hỗ trợ quản lý robots.txt.

Bạn có thể mở phần thiết lập robots.txt và rà soát các quy tắc đang được áp dụng. Đặc biệt chú ý những quy tắc chặn toàn bộ thư mục hoặc nhóm URL.

Nếu robots.txt được quản lý từ máy chủ

Không phải website nào cũng quản lý robots.txt trực tiếp từ giao diện quản trị.

Nếu website sử dụng máy chủ riêng, hệ thống quản lý tệp hoặc dịch vụ lưu trữ, bạn có thể cần phối hợp với người phụ trách kỹ thuật để chỉnh sửa tệp.

Hộp ghi nhớ: Nếu lỗi xuất hiện trên toàn bộ website, đừng vội kiểm tra từng URL. Hãy kiểm tra cấu hình robots.txt và thiết lập website ở cấp độ hệ thống trước. Một lỗi cấu hình chung có thể ảnh hưởng đến hàng trăm hoặc hàng nghìn URL cùng lúc.

Kiểm tra tình trạng chặn không ổn định

Một tình huống khó xử lý hơn là robots.txt không phải lúc nào cũng chặn URL.

Ví dụ, website có thể hoạt động bình thường vào thời điểm bạn kiểm tra. Tuy nhiên, vài giờ trước đó robots.txt lại chứa quy tắc chặn.

Khi Google truy cập đúng thời điểm đó, bot nhận được tín hiệu không được phép thu thập URL. Sau khi cấu hình được sửa, vấn đề có thể biến mất rồi xuất hiện lại nếu hệ thống tiếp tục trả về phiên bản robots.txt cũ.

Đây là lý do bạn nên kiểm tra lịch sử thay đổi của robots.txt.

Google Search Console có thể cung cấp thông tin liên quan đến các phiên bản robots.txt trước đó. Bạn cũng có thể tham khảo lịch sử lưu trữ của website thông qua Wayback Machine.

Vì sao robots.txt có thể thay đổi bất thường?

Một số nguyên nhân thường gặp gồm:

• Hệ thống bộ nhớ đệm trả về phiên bản robots.txt cũ
• Môi trường thử nghiệm và website thật dùng chung bộ nhớ đệm
• Cấu hình máy chủ thay đổi tự động
• CDN phân phối nội dung chưa đồng nhất
• Quy trình triển khai website ghi đè robots.txt

Nếu phát hiện tình trạng này, bạn cần tìm nguyên nhân ở hệ thống tạo và phân phối robots.txt thay vì chỉ sửa nội dung tệp.

Kiểm tra chặn theo user agent

User agent giúp máy chủ nhận biết loại trình duyệt hoặc bot đang gửi yêu cầu.

Website có thể được cấu hình để phục vụ người dùng bình thường nhưng chặn một số bot nhất định.

Ví dụ, bạn mở URL bằng trình duyệt và trang hiển thị bình thường. Tuy nhiên, khi yêu cầu được gửi với user agent của Googlebot, máy chủ lại trả về phản hồi bị chặn.

Khi đó, robots.txt có thể không phải nguyên nhân duy nhất.

Các lớp kỹ thuật có thể tạo ra việc chặn gồm:

• Cấu hình máy chủ
• Tệp cấu hình website
• Tường lửa
• CDN
• Hệ thống bảo mật
• Dịch vụ lưu trữ

Google cung cấp tài liệu hướng dẫn về Googlebot và hoạt động thu thập dữ liệu tại Google Search Central.

Cách kiểm tra user agent

Bạn có thể sử dụng công cụ dành cho nhà phát triển của trình duyệt để thay đổi user agent và kiểm tra phản hồi của website.

Một cách khác là sử dụng công cụ dòng lệnh để gửi yêu cầu với user agent cụ thể.

Ví dụ:

curl -A "Googlebot" -Lv https://tenmiencuaban.com

Nếu website trả về kết quả khác biệt đáng kể giữa yêu cầu thông thường và yêu cầu với user agent của Googlebot, bạn cần phối hợp với đội kỹ thuật để xác định lớp nào đang thực hiện việc chặn.

Kiểm tra chặn theo địa chỉ IP

Nếu bạn đã kiểm tra robots.txt và không tìm thấy nguyên nhân, đồng thời website cũng không chặn theo user agent, hãy xem xét khả năng chặn theo địa chỉ IP.

Đây là trường hợp khó phát hiện hơn vì trình duyệt của bạn có thể truy cập bình thường, còn máy chủ lại từ chối yêu cầu đến từ một địa chỉ IP cụ thể.

Tường lửa hoặc hệ thống bảo mật có thể chặn một dải địa chỉ IP dựa trên các quy tắc được thiết lập trước.

Bạn có thể cần sự hỗ trợ từ đội phát triển website hoặc nhà cung cấp dịch vụ máy chủ để xác định:

• Địa chỉ IP nào đang bị chặn
• Quy tắc nào tạo ra việc chặn
• Chặn được thực hiện tại máy chủ hay CDN
• Googlebot có bị ảnh hưởng hay không
• Có thể gỡ chặn mà không làm giảm khả năng bảo vệ website không

Hộp ghi nhớ: Không nên tự ý mở toàn bộ quyền truy cập khi chưa xác định nguyên nhân. Nếu hệ thống bảo mật đang chặn bot do một quy tắc hợp lệ, việc thay đổi thiếu kiểm soát có thể tạo ra vấn đề kỹ thuật khác.

Quy trình kiểm tra nhanh cho người làm SEO

Khi gặp thông báo “Indexed, though blocked by robots.txt”, bạn có thể sử dụng quy trình sau để xử lý.

Robots.txt và noindex khác nhau như thế nào?

Đây là điểm bạn cần nắm chắc khi xử lý lỗi lập chỉ mục.

Nếu mục tiêu của bạn là ngăn Google thu thập một nhóm URL không có giá trị, robots.txt có thể phù hợp.

Nếu mục tiêu là yêu cầu Google không đưa một URL vào chỉ mục, noindex thường là tín hiệu phù hợp hơn, với điều kiện Google có thể truy cập URL để đọc tín hiệu.

Google cũng giải thích rõ sự khác biệt giữa việc thu thập dữ liệu và lập chỉ mục qua tài liệu Google Search Central về kiểm soát việc thu thập dữ liệu.

Những lỗi SEO bạn nên tránh

Chặn URL trước khi thêm noindex

Đây là lỗi khá phổ biến.

Bạn muốn URL không xuất hiện trên Google nên thêm noindex, đồng thời lại chặn URL bằng robots.txt. Kết quả là Google không thể truy cập trang để đọc noindex.

Nếu URL đã được Google biết đến từ nguồn khác, nó vẫn có khả năng xuất hiện ở chỉ mục.

Chặn nhầm thư mục nội dung

Một quy tắc quá rộng có thể ảnh hưởng đến nhiều URL quan trọng.

Ví dụ, bạn muốn chặn một thư mục chứa dữ liệu nội bộ nhưng lại đặt quy tắc ở cấp thư mục cha. Khi đó, cả nhóm trang SEO có thể bị ảnh hưởng.

Không kiểm tra sau khi website chuyển đổi

Sau khi di chuyển website, thay đổi máy chủ hoặc thay đổi nền tảng, bạn nên kiểm tra robots.txt ngay cả khi website vẫn hoạt động bình thường.

Một website có thể hiển thị tốt với người dùng nhưng vẫn gặp vấn đề với bot tìm kiếm.

Chỉ kiểm tra robots.txt mà bỏ qua máy chủ

Nếu robots.txt hoàn toàn không chặn URL nhưng Google vẫn không thể thu thập dữ liệu, hãy mở rộng phạm vi kiểm tra sang CDN, tường lửa, cấu hình máy chủ và user agent.

Xóa URL chỉ vì thấy cảnh báo

Thông báo “Indexed, though blocked by robots.txt” không có nghĩa URL chắc chắn có vấn đề nghiêm trọng.

Bạn cần đánh giá mục đích của URL trước khi thay đổi cấu hình. Một URL quan trọng với chiến lược SEO không nên bị chặn chỉ vì muốn xử lý một cảnh báo trong Google Search Console.

Checklist xử lý “Indexed, though blocked by robots.txt”

Kết luận

Thông báo “Indexed, though blocked by robots.txt” thường bắt nguồn từ một quy tắc robots.txt đang ngăn Google thu thập URL. Tuy nhiên, nếu URL vẫn được lập chỉ mục, bạn cần nhớ rằng khả năng thu thập và khả năng lập chỉ mục là 2 vấn đề khác nhau. Hãy bắt đầu bằng việc xác định mục tiêu của URL, sau đó kiểm tra robots.txt, bộ nhớ đệm, user agent, máy chủ, CDN và IP. Khi xử lý đúng nguyên nhân, bạn sẽ kiểm soát tốt hơn cách Google thu thập và hiểu cấu trúc website của mình.