跳至正文返回首页Cloudflare 推出 Verified Bot 持续问责机制：验证身份之后还要持续验证行为
- 机制核心：Cloudflare 在既有的 Web Bot Auth 身份签名与 BotBase 目录之上，新增一套对 Verified Bot 实际行为的持续评估系统，不再把「已验证」视为一次性授予的永久资格。官方给出的三项准入准则是准确标识身份、只做承诺之事、不从事滥用行为，新系统专门衡量第三条是否随时间成立。
- 评估信号：首批纳入的信号是机器人是否遵守站点发布的 robots.txt 偏好（对应 RFC 9309），以及收到 HTTP 429「请求过多」后是否降速、暂停或继续以原速率施压。系统关注的是重复出现的行为模式，而非孤立或一次性违规。
- 输出形式：评估结果转化为一个可解释的 trust band，展示机器人在多大程度上持续尊重站点偏好，以及哪些具体观测行为支撑了该判断。Cloudflare 强调这是随时间的信任区间，而非对机器人或其运营方的永久定性。
- 公开与开放节奏：该系统已在 Cloudflare 内部使用以积累行为历史；官方计划将评分公开在 Cloudflare Radar 的 bot 目录中，并在此后向所有 Cloudflare 客户开放，客户可自行选择用于判定 Verified Bot 流量处置方式的信任阈值。
- 闭环结构：新系统与 Bot Preference Sync（站点发布偏好）、Bot Management（站点决定如何处置流量）组成一条问责闭环——偏好由站点声明，行为由系统观测，处置权留在站点手中。
- 既有先例：Cloudflare 在 2025 年曾将 Perplexity 的爬虫从 Verified Bot 名单中移除，原因是其试图访问已选择退出抓取的网站，并在请求被阻止后尝试绕过控制。该案例被官方作为「身份验证不等于信任」的具体注脚。
- 行业意义：AI 爬虫与 Agent 抓取的治理正在从「认证一次」转向「持续问责」。当抓取主体的身份与实际行为被拆开计量，站点侧的 robots.txt 与限速信号开始具备可被第三方审计的执行力，而爬虫运营方则需要一个可对外展示的合规记录——这套评分对模型公司的数据获取链路与信誉资产都有直接影响。
🔗 Cloudflare 官方博客 | Web Bot Auth 文档 | BotBase 目录 | Bot Preference Sync
