跳至正文返回首页LlamaIndex 发布 ExtractBenchPro：把文档抽取基准推向长尾复杂度
- 发布内容：LlamaIndex 上线 ExtractBenchPro，同步开放技术博客、独立网站、GitHub 仓库与 Hugging Face 数据集四个入口，用于评测真实世界复杂文档的结构化抽取能力。
- 动机：官方称现有抽取基准已被前沿模型饱和——其最低成本的模式在旧版 ExtractBench 上得分已超 93%。而客户场景中 trial balances、well logs、canvass binders、site plan reviews、duty reconciliations、loss runs 等长尾文档在性价比维度上仍未被解决。
- 复杂度维度：基准刻意筛选六类真实难点——文档惯例（图例或规则限定全文解释方式）、内部术语密度（需跨文档交叉引用定义）、聚合与推理（推断需综合多来源的值）、手绘关系（流程与电路类复杂图示）、文档内嵌图表（读取图表中的精确点位）、超长图表页（如把整条数据序列压进一页的 well logs）。
- 评测口径：因该场景下小错误代价极高，主指标采用「完美文档」比例，即 Value F1 达到 100% 的文档占比；同时测量 Value F1 与 Grounded F1。
- 当前成绩：Codex with Astra 的 Value F1 最高约 58%，但成本接近每页 1 美元；LlamaParse 的 agentic 与 agentic plus 模式落在 20–40% 区间，官方称其覆盖 Pareto 前沿的左端，处于全量生产可承受的价格带。
- 行业意义：文档抽取的能力评估正从「模型能否读出数值」转向「能否在长尾行业文档上端到端不出错」，且成本与准确率被放在同一张权衡曲线上比较；对依赖票据、工程图、财报附表等非标准文档的自动化流程而言，这一口径比通用 OCR 榜单更贴近可上线的判据。
🔗 技术博客 | 基准网站 | Hugging Face 数据集 | GitHub