Cloudflare 9 月起默认拦截部分 AI 爬虫，Google 被点名

Cloudflare 宣布，9 月 15 日起，默认阻止同时用于搜索、AI 问答和训练的“混合用途”爬虫抓取带广告的页面。Cloudflare 还点名暗批 Google，认为网站很难做到“允许搜索收录，但拒绝内容被用于 AI”。未来，AI 公司使用网站内容，可能不只要为抓取付费，还要按实际使用付费。

TechCrunch