ByteByteGo 归纳 8 种 RAG 分块策略:从固定长度到 Agent 自选方法
- 清单内容:文章按由简到繁列出八种分块方式——固定 token 数加小重叠;递归切分(先按段落,超长再退到行、词、字符);文档结构切分(标题、章节、HTML 标签,一节一块);语义切分(逐句嵌入,与前一句相似度下降即开新块);LLM 命题重写(要求模型把文本改写成一条一意的独立命题,质量高但全量语料成本高);Agentic 分块(由 Agent 判读文档类型是代码、合同还是表格,再为该文件单独选方法);Late Chunking(整篇先过嵌入模型,再套用常规切分边界并在边界内做均值池化);分层切分(章节、段落、句子分层组织)。
- 值得注意的两类:Agentic 与 Late Chunking 代表两种不同的思路转向——前者把“分块方法”本身变成模型的一次判断,不再是全局统一规则;后者把嵌入从“对块做”改为“对全文做、再切”,试图保留块与全文的上下文关联。
- 文章性质:这是一份工程实践梳理而非新研究或新工具发布,未给出各策略在具体语料上的召回、延迟或成本对比数据,也未附开源实现,价值在于把散落在各团队实践中的方法归入同一张清单。
- 行业观察:分块是 RAG 链路中最靠上游、也最少被单独评估的一环——切错了,检索与重排再优化也只能在错误的候选集里排序。这份清单的实用意义在于它把“默认固定 512 token”之外的选项摆开,尤其是 Agentic 分块:当切分策略由模型按文档类型临时决定,分块从预处理脚本的一行配置,变成需要单独记录与回归的可变行为。 🔗 ByteByteGo EP229





