Bạn đang chịu áp lực phải dùng AI nhiều hơn trong quy trình làm việc, nhưng ít ai nói đến mặt tối đi kèm: uy tín giả tạo, các bot phớt lờ robots.txt và khoảng cách ngày càng lớn giữa việc giám sát với trách nhiệm giải trình. Jamie Indigo, qua phiên hỏi đáp tại Moz, giải mã những rủi ro đó và chỉ ra cách bạn dùng log file để kiểm soát crawler của LLM. Phần 1 này trình bày sáu câu hỏi đầu tiên cùng các bước hành động cụ thể cho bạn.
Khoảnh khắc iPhone của AI và cái giá đi kèm
Công nghệ AI mới đang thu hút sự chú ý chưa từng có kể từ khi iPhone ra mắt năm 2007. Khi iPhone xuất hiện, người ta xếp hàng suốt đêm và cả các ngành công nghiệp xoay quanh hệ sinh thái của Apple. Theo Jamie Indigo, AI hiện đang trải qua khoảnh khắc iPhone của riêng mình, và hầu hết các nhóm đã dùng LLM dưới hình thức nào đó.
Phía sau mức năng suất tăng lên là một thực tế tối hơn. Bạn đang đối mặt với uy tín giả tạo, những bot phớt lờ robots.txt và việc giám sát ngày càng xa trách nhiệm giải trình. Phiên hỏi đáp gồm 11 câu hỏi chia thành 4 chuyên mục, và phần 1 xử lý 6 câu đầu, thuộc hai chuyên mục sau.
| Chuyên mục | Nội dung chính trong phần 1 |
|---|---|
| Hiểu đúng về LLM và tìm kiếm AI | Khoảng cách nhận thức, tối ưu hóa hộp đen, rủi ro khi tạo nội dung bằng LLM |
| Thu thập dữ liệu, lập chỉ mục và điểm mù kỹ thuật | Bot bỏ qua robots.txt, vai trò của log file, ba việc làm ngay |
Khoảng cách lớn nhất giữa nhận thức và cơ chế thực tế
Jamie Indigo chỉ ra ba giả định sai mà người làm SEO thường mắc khi nghĩ về tìm kiếm AI. Bạn thường cho rằng đó là một công cụ tìm kiếm, rằng nó sẽ làm đúng điều bạn chỉ dẫn và rằng nó dùng cơ chế tìm kiếm quen thuộc. Thực tế không như vậy.
| Giả định thường gặp | Thực tế |
|---|---|
| AI là một công cụ tìm kiếm | Công cụ tìm kiếm là hệ thống truy xuất thông tin, còn LLM là mô hình được huấn luyện trước trên một tập dữ liệu, có thể kèm RAG |
| Nó làm đúng điều bạn chỉ dẫn | Nó có thể tạo kết quả trông hữu ích mà không thực hiện đúng quy trình |
| Nó dùng cơ chế tìm kiếm thông thường | Một số thành phần trùng nhau, nhưng cơ chế bên trong khác biệt |
Jamie Indigo so sánh LLM với món đồ chơi Furby từng rất phổ biến, vốn có vốn từ hạn chế và học qua việc lặp lại. LLM vận hành dựa trên tham số và nhận dạng mẫu chứ không phải hiểu biết thực sự, dù các mô hình suy luận đã khá tinh vi. Khi thiếu thông tin, LLM có xu hướng lấp khoảng trống bằng suy luận xác suất, và đó là lúc hiện tượng ảo giác xuất hiện.
Nghiên cứu Ảo tưởng về tư duy của Apple chỉ ra các điểm yếu chính: độ chính xác giảm khi nhiệm vụ phức tạp hơn, chi phí token làm dung lượng xử lý giảm khi độ khó tăng, mô hình không luôn tuân thủ chỉ dẫn và tính đáng tin cậy của suy luận bị mất đi. Ngoài ra, công cụ theo dõi biến động thứ hạng tìm kiếm AI của Dan Petrovich cho thấy môi trường này bất ổn, khi nhiều trường hợp có 8 trên 10 kết quả thay đổi mỗi ngày, tương đương mức biến động quanh 80% hoặc cao hơn.
Hộp ghi nhớ
Đừng đối xử với LLM như một công cụ tìm kiếm. Nó là hệ thống nhận dạng mẫu, nên kết quả của nó cần được kiểm chứng thay vì mặc định tin tưởng.
Kỷ nguyên tối ưu hóa hộp đen và hình ảnh bệnh bò điên
Jamie Indigo gọi hiện tượng hiện nay là phiên bản công nghệ của bệnh bò điên. Bệnh này xuất hiện ở gia súc vào thập niên 1990, do cho gia súc ăn thức ăn chế biến từ chính gia súc. Theo bà, AI đang rơi vào vòng tự nuôi dưỡng tương tự khi người làm marketing dùng kết quả đầu ra của AI để dựng chiến lược mà thường không hiểu cơ chế của mô hình.
Khi nội dung do AI tạo ra được xuất bản ở quy mô lớn, nó lại bị thu thập và dùng để huấn luyện mô hình. Quy mô khiến vấn đề thêm nghiêm trọng, vì năm 2024 lượng nội dung phát hành tăng vọt, gần bằng tổng lượng nội dung được thêm từ năm 2010 đến năm 2018. Hệ quả là các hệ thống dễ bị tổn thương trước những chiêu thao túng khả năng hiển thị của LLM, tương tự văn bản ẩn màu trắng trên nền trắng của thời SEO trước đây.
Rủi ro khi dùng LLM để tạo nội dung
LLM tái cấu trúc các mẫu ngôn ngữ có sẵn, nên nó không thể tạo ra nội dung gốc. Nếu nội dung của bạn đến từ cùng tập dữ liệu thống kê mà mọi người dùng cùng mô hình đều khai thác, người khác cũng có thể tạo ra đúng nội dung ấy. Khi website chứa đầy nội dung thay thế được, công cụ tìm kiếm khó có lý do để đầu tư tài nguyên thu thập và lập chỉ mục.
Martin Splitt của Google từng cảnh báo về việc lạm dụng nội dung do AI tạo ra khi nói chuyện trong một hội thảo trực tuyến, được Search Engine Journal đưa lại. Ông giải thích rằng việc phát hiện chất lượng diễn ra ở nhiều giai đoạn, và nếu Google nhận ra nội dung kém từ sớm, hệ thống có thể bỏ qua việc render. Hệ quả là nội dung không được lập chỉ mục và không xuất hiện trong kết quả tìm kiếm.
Một khi chìm vào biển đồng nhất, bạn rất khó thoát ra. Muốn thoát, bạn cần người dùng nói về sản phẩm, tương tác và chia sẻ liên kết.
Vì vậy, câu hỏi đáng đặt ra là tại sao bạn lại chấp nhận những rủi ro hoàn toàn có thể tránh ngay từ đầu.
Khi crawler AI phớt lờ robots.txt
Theo Jamie Indigo, robots.txt chưa bao giờ có giá trị ràng buộc về mặt pháp lý. Nó chỉ là một thỏa thuận chung rằng bạn có thể thu thập dữ liệu từ website của tôi nhưng phải theo các quy tắc này. Thật không may, nhiều crawler AI đang tìm cách vượt qua hạn chế. Cloudflare đã báo cáo rằng Perplexity dường như đổi user agent để né việc bị chặn.
Theo kiểm chứng của Cloudflare trên các tên miền thử nghiệm, khi crawler đã khai báo bị chặn, Perplexity dùng thêm một trình duyệt chung giả danh Google Chrome trên macOS. Báo cáo ghi nhận khoảng 20 đến 25 triệu yêu cầu mỗi ngày từ user agent đã khai báo và khoảng 3 đến 6 triệu yêu cầu mỗi ngày từ user agent ẩn danh. Biên tập viên Web lưu ý rằng RFC 9309, được công bố năm 2019, quy định robot đã tải robots.txt phải tuân thủ nội dung của nó.
Bạn cũng cần tính đến việc tích hợp gián tiếp. Nhiều mô hình dựa nhiều vào Common Crawl, vốn ban đầu được xây cho mục đích học thuật. Dù bạn chặn các user agent dành riêng cho AI, nếu bạn cho phép Common Crawl truy cập, nội dung của bạn vẫn có thể đi vào tập dữ liệu huấn luyện. Vấn đề thực sự nằm ở sự đồng thuận, vì động cơ của các crawler AI không nhất thiết khớp với lợi ích của nhà xuất bản.
Log file cho bạn thấy điều thực sự đang xảy ra
Log file phản ánh các quy trình thực tế, thay vì những gì dashboard suy ra. Bạn thường lấy được chúng ở cấp độ máy chủ hoặc CDN, và cần công cụ để đọc đúng. Công cụ Log File Analyser của Screaming Frog hỗ trợ việc này, và nhiều CDN doanh nghiệp như Akamai cũng tích hợp sẵn. Khi đã có log file, bạn có thể thực hiện bốn việc sau.
- Xác định các bot đang truy cập website của bạn.
- Kiểm tra những tài nguyên mà bot yêu cầu.
- Phát hiện các đợt tăng đột biến và mẫu truy cập bất thường.
- Điều chỉnh quy tắc với tầm nhìn xa hơn.
Bot AI có thể rất hung hăng và tiêu tốn nhiều tài nguyên. Chúng có thể thu thập cả môi trường thử nghiệm, tài nguyên nội bộ và khu vực phát triển nếu những nơi này truy cập được công khai. Bảo mật bằng che giấu không hiệu quả, nên bạn hãy giả định rằng thứ gì truy cập được từ internet đều sẽ bị tìm thấy.
Hầu hết crawler AI nhận diện được nhờ user agent riêng, và có thể chia thành hai loại, như bảng sau.
| Loại crawler | Mục đích |
|---|---|
| Crawler huấn luyện mô hình | Mở rộng kho dữ liệu mà mô hình học |
| Crawler theo yêu cầu người dùng | Được kích hoạt bởi truy vấn thời gian thực trong công cụ, dùng cho RAG |
Phân tích log file cũng làm lộ những điểm không nhất quán. Chẳng hạn, nếu một crawler như Perplexity không render JavaScript thì không có lý do để nó yêu cầu file JavaScript hay CSS, nên bạn cần thận trọng với các lượt truy cập vào đường dẫn bị hạn chế. Bạn không nên trông chờ crawler tự hành xử đúng, mà phải tự quy định phạm vi được phép rồi tự thực thi giới hạn đó.
Ba việc bạn làm được ngay hôm nay
Jamie Indigo đề xuất 3 hành động để bảo vệ website khỏi crawler AI không mong muốn, bắt đầu từ log file.
| Bước | Việc cần làm |
|---|---|
| 1 | Dùng log file để xác định điều gì đang được truy cập và điều gì cần hạn chế |
| 2 | Dùng robots.txt để chặn truy cập vào dữ liệu nhạy cảm |
| 3 | Dùng tường lửa để lọc tương tác của bot và hạn chế gian lận tự động |
Với bước đầu, hãy phân loại yêu cầu theo tên máy chủ, loại file và cấu trúc URL để biết đối tượng nào đang được truy cập. Ở bước hai, dù robots.txt không đảm bảo được tuân thủ, nó vẫn kiểm soát được hành vi của nhiều crawler. Ít nhất, bạn nên chặn các loại URL sau.
- Các script.
- Các API endpoint.
- Khu vực staging.
- Các tài nguyên bí mật khác.
Với tài nguyên không phải HTML, hãy kết hợp thêm các chỉ thị như noindex và indexifembedded. Nhờ vậy bạn tránh được tình huống một công cụ AI trích dẫn thương hiệu của bạn, người dùng nhấp vào liên kết, rồi nhận về bản sao API JSON của ứng dụng JavaScript.
Ở bước ba, bạn dựng rào chắn thực sự khi cần. Hãy bắt buộc xác thực ở các khu vực nhạy cảm và dùng các biện pháp kiểm soát tường lửa của Cloudflare hoặc Akamai. Các công cụ như tường lửa AI mã nguồn mở Anubis cũng giúp lọc bot và hạn chế gian lận tự động.
Lưu ý về JavaScript
Nhiều crawler AI không render JavaScript. Trang xây bằng React hoặc Vue.js có thể hiển thị đúng với người dùng và Google nhưng lại trống trơn với crawler AI. Phần 2 sẽ hướng dẫn cách kiểm tra điều này.
Kết bài
Nội dung do AI tạo ra không bảo chứng cho uy tín, và robots.txt không đủ để bảo vệ website của bạn trước các crawler không tuân thủ. Hãy bắt đầu từ log file để biết bot nào đang truy cập, chặn những khu vực nhạy cảm bằng robots.txt và dựng rào chắn thực sự bằng xác thực cùng tường lửa. Khi bạn hiểu LLM là hệ thống nhận dạng mẫu chứ không phải công cụ tìm kiếm, mọi quyết định kỹ thuật sẽ rõ ràng hơn. Phần 2 sẽ tiếp tục với tối ưu hóa kỹ thuật.