RAG 系统为什么需要 chunking?chunk 太大或太小分别有什么问题?
好的回答应说明 chunking 是为了把长文档切成可检索、可放入上下文的语义单元。chunk 太大可能导致召回不精确、上下文浪费、噪声多;chunk 太小可能破坏语义完整性、答案缺少上下文。还应提到 overlap、按标题/段落/表格结构切分、不同文档类型使用不同策略,并用检索命中率和答案正确率评估。
题目背景
RAG 面试里最容易出现空泛答案。这道题要求候选人讲出工程取舍。
完整回答
好的回答应说明 chunking 是为了把长文档切成可检索、可放入上下文的语义单元。chunk 太大可能导致召回不精确、上下文浪费、噪声多;chunk 太小可能破坏语义完整性、答案缺少上下文。还应提到 overlap、按标题/段落/表格结构切分、不同文档类型使用不同策略,并用检索命中率和答案正确率评估。
加分信息
- 能结合 AI 应用工程师 的真实工作场景回答。
- 能结合 后端工程师 的真实工作场景回答。
常见问题
- 只给概念定义,没有说明工程场景。
- 没有提到验证、监控或失败处理。
面试官可能追问
- 如果文档里有表格、代码或 FAQ,chunking 策略要怎么变?
- 你会如何评估检索阶段是否召回了正确 chunk?
回答时尽量连接到一个可运行项目、评测记录、日志或复盘材料。