如何系统评估一个 RAG 系统?
把评估拆成检索、重排、生成和引用四层,并使用带正确证据的真实问题集。
完整回答
检索看 recall@k、MRR 等,生成看正确性、忠实度、完整性和拒答,线上再监控无结果率、延迟和成本。模型评分可扩展规模,但必须用人工样本校准。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合评估控制台展示版本对比与失败分类。