Bạn có thể từng nghĩ trí tuệ nhân tạo sẽ khiến tối ưu hóa công cụ tìm kiếm mất giá trị. Thực tế lại ngược lại, vì mọi hệ thống trả lời đều phải đọc được trang của bạn trước khi trích dẫn nó. Chuyên gia Ezawa của Ayudante đã dùng nhật ký máy chủ để chứng minh điều này. Bài viết này tổng hợp các phát hiện ấy, bổ sung số liệu quốc tế và hướng dẫn bạn kiểm tra hai việc then chốt: thu thập dữ liệu và kết xuất.
Việc cần làm vẫn rất đơn giản
Dù bước sang thời đại trí tuệ nhân tạo, nhiệm vụ của bạn vẫn là giúp công cụ tìm kiếm và trí tuệ nhân tạo lấy được thông tin rồi hiểu nó. Theo bài tường thuật của Webtan Forum, ông Ezawa gom công việc này vào hai nhóm: tối ưu thu thập dữ liệu và kiểm tra kết xuất. Với Google, chuỗi xử lý đi từ phát hiện địa chỉ, thu thập, kết xuất, lập chỉ mục rồi mới hiển thị kết quả.
| Nhóm công việc | Mục tiêu | Câu hỏi bạn cần trả lời |
|---|---|---|
| Tối ưu thu thập dữ liệu | Trình thu thập tìm được và ghé thăm đúng trang | Trình nào đến, vào lúc nào và vào trang nào? |
| Kiểm tra kết xuất | Nội dung hiện đầy đủ khi máy đọc trang | Nếu tắt JavaScript, thông tin quan trọng còn hiển thị không? |
Ba trình thu thập chính bạn cần theo dõi
Muốn biết trình thu thập nào đang hoạt động, bạn chỉ có một cách đáng tin cậy là phân tích nhật ký thô của máy chủ. Ayudante đã làm điều này với chính website của họ và dựng bảng theo dõi để xem trình nào đến, vào thời điểm nào, lấy tệp nào. Theo ông Ezawa, ba trình quan trọng nhất cho cả hai mục tiêu được tóm gọn như sau:
| Trình thu thập | Vai trò | Hành vi quan sát được |
|---|---|---|
| Googlebot | Thu thập, kết xuất và lập chỉ mục cho Google | Cung cấp dữ liệu cho cả tìm kiếm thường và các tính năng trí tuệ nhân tạo |
| Trình thu thập huấn luyện của ChatGPT | Học kiến thức tổng quát để huấn luyện mô hình | Ít đến nhưng có ngày thu thập rất nhiều, ưu tiên trang chủ, thông tin công ty và hồ sơ nhân sự |
| Trình thu thập thời gian thực của ChatGPT | Thu thập ngay trang được tham chiếu khi người dùng hỏi | Ghé thăm các bài cột nội dung dù mới hay cũ, thay đổi theo mức sử dụng của người dùng |
Số liệu của Ayudante cho thấy trình huấn luyện từng tạo ra khoảng 3.000 lượt truy cập vào một ngày nhưng thường gần như không đến. Ngược lại, trình thời gian thực ghé thăm khoảng 500 đến 600 lần mỗi ngày và giảm vào cuối tuần cùng dịp nghỉ lễ, giống xu hướng lưu lượng của website.
“Trình thu thập thời gian thực cho biết trang nào đang được trích dẫn.”Ý của ông Ezawa, Ayudante, theo bài tường thuật
Năm câu hỏi thường gặp về thu thập dữ liệu
Ông Ezawa chấm mức hiệu quả của từng biện pháp theo hai trục là trí tuệ nhân tạo và tối ưu hóa truyền thống. Bảng sau cho bạn bức tranh nhanh, và các đoạn kế tiếp giải thích lý do.
| Biện pháp | Với trí tuệ nhân tạo | Với tối ưu hóa truyền thống |
|---|---|---|
| Tệp sitemap.xml | Không hiệu quả | Hiệu quả một phần |
| Lập chỉ mục bài mới nhanh | Có | Có |
| Kiểm soát bằng robots.txt | Có | Có |
| Chuyển hướng | Hiệu quả một phần | Có |
| Văn bản nằm bên ngoài thân bài, tức nằm ở ảnh | Hiệu quả một phần | Hiệu quả một phần |
Về tệp sitemap.xml, các trình thu thập chính của trí tuệ nhân tạo gần như không ghé xem nó, chỉ riêng trình của Anthropic tham chiếu ngang mức Googlebot. Với Google, tệp này cũng chỉ mang tính bổ trợ: một website liệt kê 100.000 địa chỉ nhưng có hơn 17.000 địa chỉ đã phát hiện mà chưa được lập chỉ mục. Bạn nên bảo đảm tệp tự cập nhật, không chứa địa chỉ cũ hay trang lỗi, và ghi đúng ngày cập nhật.
Ngược lại, bài mới thường được thu thập chỉ sau vài giờ, nhờ trình huấn luyện hay ghé trang chủ, nơi Ayudante đặt khung bài mới. Vì trình của trí tuệ nhân tạo không dựa vào sitemap, liên kết nội bộ rõ ràng và sự hiện diện trên website khác mới là cách thúc đẩy thu thập.
Phân biệt noindex, canonical và robots.txt
Ông Ezawa chỉ ra rằng nhiều người vẫn dùng sai ba công cụ này. Mỗi công cụ phục vụ một mục đích khác nhau, nên bạn cần chọn đúng cho từng tình huống, đặc biệt ở website lớn nơi ngân sách thu thập bị giới hạn.
| Công cụ | Kiểm soát thu thập | Kiểm soát lập chỉ mục | Dùng khi |
|---|---|---|---|
| noindex | Không | Có | Trang chất lượng thấp, không muốn hiện trên kết quả |
| canonical | Một phần | Có | Trang sản phẩm trùng lặp, địa chỉ có mã theo dõi |
| robots.txt | Có | Không | Cần giảm lượng thu thập ở website lớn |
Chuyển hướng và văn bản dạng ảnh
Googlebot lập chỉ mục địa chỉ mới khi gặp chuyển hướng, còn trình thu thập của trí tuệ nhân tạo chỉ theo chuyển hướng mà không có khái niệm lập chỉ mục. Hệ quả là nếu bạn gỡ chuyển hướng, chúng sẽ không tìm được địa chỉ mới, nên bạn nên giữ chuyển hướng vĩnh viễn. Hơn nữa, chuyển hướng bằng JavaScript không được trí tuệ nhân tạo nhận ra, vì vậy chuyển hướng phía máy chủ là lựa chọn phù hợp.
Với ảnh, trí tuệ nhân tạo có thể dùng công nghệ nhận dạng ký tự để lấy chữ ở từng ảnh đơn lẻ, nhưng khả năng phân tích ảnh của cả trang còn yếu. Nội dung quan trọng nên nằm ở văn bản thân bài, đồng thời bạn nên khai báo thuộc tính mô tả ảnh. Ayudante thử thêm thuộc tính này cho ảnh ở một trang và ghi nhận trang đó bắt đầu được trích dẫn ở câu trả lời của ChatGPT.
Kiểm tra kết xuất: điểm mù lớn nhất
Kết xuất là quá trình chạy JavaScript để hoàn thiện giao diện và nội dung. Cửa sổ bật lên, menu ba gạch, khối đóng mở và cuộn vô hạn đều dùng JavaScript, nên mắt thường rất khó phát hiện vấn đề. Nếu không được kết xuất, vùng đó bị xem là trống và trang có thể bị đánh giá chất lượng thấp.
| Chỉ số theo Vercel và MERJ | Trình của OpenAI | Trình của Anthropic |
|---|---|---|
| Số yêu cầu mỗi tháng | 569 triệu | 370 triệu |
| Tỷ lệ yêu cầu tải tệp JavaScript | 11,50% | 23,84% |
| Thực thi JavaScript | Không | Không |
Dữ liệu của Vercel xác nhận rằng các trình thu thập lớn của trí tuệ nhân tạo tải tệp JavaScript nhưng không thực thi chúng. Theo ông Ezawa, trình huấn luyện không kết xuất JavaScript, còn trình thời gian thực có khả năng phân tích rất yếu. Vì thế, website xây theo kiểu ứng dụng một trang đặc biệt đáng lo, bởi trí tuệ nhân tạo gần như không lấy được thông tin ở nội dung.
Ngoài ra, bạn nên đưa việc kiểm tra kết xuất vào quy trình mỗi lần làm mới website, vì chính các đợt thay đổi giao diện thường gây ra lỗi. Khi đội thiết kế, đội kỹ thuật và bạn cùng nắm được yêu cầu này, nội dung quan trọng sẽ luôn có sẵn ở mã nguồn ban đầu thay vì phụ thuộc vào đoạn mã chạy sau.
Vì sao nhật ký máy chủ đáng giá hơn công cụ ước tính
Lưu lượng từ câu trả lời của trí tuệ nhân tạo chỉ đo được khi người dùng nhấp vào liên kết, còn lượt đề cập và trích dẫn thì phải nhờ công cụ bên thứ ba và chỉ cho kết quả ước tính, lại tốn phí. Ngược lại, nhật ký máy chủ cho bạn thấy chính xác hoạt động của trình thu thập, nhờ vậy bạn dễ xác định bước đi kế tiếp.
- Phát hiện trang nào đang được trình thời gian thực ghé thăm nhiều nhất.
- Nhận ra địa chỉ cũ gây lỗi, vì theo Search Engine Journal, hơn 34% yêu cầu của trình thu thập trí tuệ nhân tạo rơi vào trang không tồn tại.
- Đối chiếu trang được thu thập với trang có giá trị kinh doanh để ưu tiên cải thiện.
Nếu việc dựng môi trường phân tích nhật ký còn quá phức tạp, ông Ezawa gợi ý bạn bắt đầu bằng cách nhờ bộ phận công nghệ thông tin xuất danh sách các địa chỉ hàng đầu mà trình thời gian thực của ChatGPT đã truy cập.
Danh sách kiểm tra dành cho bạn
Kết bài
Trí tuệ nhân tạo không làm tối ưu hóa kỹ thuật lỗi thời, mà biến nó thành điều kiện để thương hiệu có mặt ở câu trả lời. Khi bạn giúp trình thu thập tìm thấy trang, đọc được nội dung và hiểu đúng vai trò của từng địa chỉ, bạn vừa phục vụ Google vừa phục vụ các hệ thống mới. Hãy mở nhật ký máy chủ ngay tuần này cùng đội kỹ thuật, vì dữ liệu thật luôn chỉ ra bước tiếp theo rõ hơn mọi phỏng đoán.
