文档切片策略
Chunking 把文档切成可检索且语义完整的片段。
为什么重要
切得过大降低定位,过小则丢失上下文。
核心原理
优先按标题、段落和代码块等结构切分,再用长度上限和适量重叠兜底。
工程实现
- 保留标题路径
- 记录字符偏移
- 按文档类型配置
最小示例
API 文档按端点和小节切分,而不是每 500 字硬切。
常见误区
- 全库一个固定长度
- 重叠过大导致重复召回
面试怎么说
切片策略要匹配文档结构和问题粒度,并通过检索评估迭代。
Chunking 把文档切成可检索且语义完整的片段。
切得过大降低定位,过小则丢失上下文。
优先按标题、段落和代码块等结构切分,再用长度上限和适量重叠兜底。
切片策略要匹配文档结构和问题粒度,并通过检索评估迭代。