跳至正文返回首页Cloudflare 与 OpenAI 公布 AI 发现试点：新增索引数亿网页
- 核心结果：Cloudflare 与 OpenAI 今年 7 月启动的研究试点公布早期结果，Cloudflare 网络信号帮助 OpenAI 搜索爬虫发现并索引数亿新网页。
- 试点范围：使用约 1% Cloudflare 总网络的参与群体；OpenAI 独立评估和排序页面，ChatGPT Search 通过回链让用户访问原始内容。
- 技术机制：识别不存在、重定向和重复内容页面，减少无效抓取；测试变更信号，告知爬虫何时需要重新访问；测试有害页面信号，可标记单页而非整个域名。
- 边界与控制：信号不授予访问权限；研究使用网页元数据用于搜索发现，不共享页面内容用于模型训练；站点可通过 AI Crawl Control 管理 AI 访问。
- 行业意义：当用户通过 AI 获取信息，网站可发现性从搜索排名扩展到被 AI 索引、引用和回链；爬虫效率、内容控制与索引安全成为搜索供应链的一部分。
🔗 Cloudflare 官方博客 | Cloudflare 新闻稿 | AI Crawl Control 文档