Từ 15/9 Cloudflare chặn AI agent: checklist cho site của bạn

Ngày 15/9, một khách hàng hỏi trợ lý AI về sản phẩm của bạn. Trợ lý gửi crawler tới trang pricing, Cloudflare chặn ngay tại edge, và câu trả lời được viết từ snapshot cũ — origin của bạn không ghi một dòng log nào.

Hai thay đổi tháng này quyết định trợ lý AI còn đọc được site của bạn hay không: cấu hình cần sửa trước 15/9, và cách đọc report AI mới của Search Console.

Cloudflare tách traffic AI thành ba nhóm, "Agent" là nhóm mới

Theo bài phân tích trên Dev.to, từ 15/9 Cloudflare chặn traffic "Agent" theo mặc định trên các trang có quảng cáo; crawler search vẫn được cho qua. Cloudflare xếp traffic AI thành ba loại: Search (index nội dung), Training (đưa nội dung vào model), và Agent — hoạt động tự động chạy real time thay mặt một người đang chờ ở đầu bên kia. Ví dụ của Cloudflare: chat fetch bot như ChatGPT-User, và browser-use agent điều khiển Chrome.

Mặc định áp lên domain mới onboard, site mới do khách hàng hiện hữu thêm vào, và mọi tài khoản free-tier đang có. Zone trả phí đã cấu hình thì không bị đụng tới trong ngày đó.

Chỗ dễ hiểu sai nhất: robots.txt không cứu được. Block xảy ra tại edge, trước khi request chạm tới origin, còn robots.txt chỉ là lời đề nghị với crawler chịu tôn trọng nó. Allow phải cấu hình theo từng zone, trong AI traffic controls hoặc bằng WAF rule match user agent.

Allow-list và cái bẫy crawler đa nhiệm

Nhóm agent đáng cho qua, theo bài viết: ChatGPT-User, OAI-SearchBot, Claude-User, Claude-SearchBot, Perplexity-User, PerplexityBot, Google-Agent, GoogleAgent-Mariner, Googlebot, GrokBot, xAI-Grok, Grok-DeepSearch. Nhóm training nếu vẫn chặn: GPTBot, ClaudeBot, anthropic-ai, meta-externalagent, Bytespider, Google-Extended.

Cloudflare áp rule chặt nhất cho crawler làm nhiều việc, và nêu đích danh Googlebot, Applebot, Bingbot là những con dính vào block Training. Lệnh "chặn training" kiểu blanket vì thế có thể lấy mất index search bình thường. Set ba category riêng và kiểm tra từng agent trước khi lưu.

Report AI của Search Console chỉ đếm đúng một thứ

Từ 31/8/2026, report này cùng control opt-out đã live trên mọi property toàn cầu. Nó đếm impressions — số lần link tới trang của bạn hiện trong AI Overviews và AI Mode của Google — và không đếm gì khác. Không có click, không có chiều query, nên bạn không biết câu hỏi nào kích hoạt. Breakdown chỉ có pages, countries, dates, devices.

Giới hạn 1.000 dòng vẫn áp dụng nên long-tail rơi khỏi bảng, và dữ liệu mới nhất là preliminary — dao động theo ngày là noise, không phải tín hiệu.

Với ai đang đo AI visibility: report này không nhìn thấy ChatGPT hay Claude — cả report lẫn control đều chỉ scope trong tính năng generative AI của Google Search. Control opt-out nằm ở Settings > Search generative AI, mặc định include, áp sau 1-2 ngày. Google nói exclusion "isn't used as a ranking or inclusion signal affecting other parts of Search" và không ảnh hưởng training — Google-Extended mới là control cho training. Tắt nó đi không bảo vệ ranking, chỉ bỏ đi một nguồn traffic.

Checklist trước ngày 15

1. Mở AI traffic controls từng zone (ưu tiên free-tier và domain vừa onboard) và set Search / Agent / Training riêng lẻ, tránh bẫy Googlebot–Applebot–Bingbot.
2. Đọc report AI theo kiểu nhị phân: có impression là page Google chịu hiển thị, zero sau vài tuần là không.
3. Ghép với analytics theo referrer và landing page — impression là một link được hiện, visit mới là một người đã tới.

Tác giả bài Dev.to — co-founder Babel42, một công cụ theo dõi AI visibility — gọi việc kiểm tra zone là "việc năm phút" nếu làm trước ngày 15 và "vấn đề vô hình" nếu để sau. Lời của người bán công cụ đo, nhưng chi phí kiểm tra gần bằng không.

Đáng theo dõi sau 15/9: log origin có tụt hit từ ChatGPT-User và Claude-User không, và pages table có page nào rơi từ có-impression về zero.