为什么说上下文窗口不是越大越好?在一个企业知识库问答系统里,你会如何控制上下文长度?
好的回答应覆盖成本、延迟、噪声、注意力稀释和安全边界。控制方式包括检索前过滤、chunk 排序、rerank、摘要压缩、只传必要字段、按问题类型选择上下文模板,并通过命中率、答案正确率和 token 成本评估。
题目背景
这道题用于区分“能调用大模型 API”和“能做成本、质量、延迟平衡”的候选人。
完整回答
好的回答应覆盖成本、延迟、噪声、注意力稀释和安全边界。控制方式包括检索前过滤、chunk 排序、rerank、摘要压缩、只传必要字段、按问题类型选择上下文模板,并通过命中率、答案正确率和 token 成本评估。
加分信息
- 能结合 AI 产品工程师 的真实工作场景回答。
- 能结合 后端工程师 的真实工作场景回答。
常见问题
- 只给概念定义,没有说明工程场景。
- 没有提到验证、监控或失败处理。
面试官可能追问
- 如果用户问题需要跨文档综合,你会如何避免裁剪过度?
- 你会记录哪些日志来分析上下文质量?
回答时尽量连接到一个可运行项目、评测记录、日志或复盘材料。