如何把 Eval 接入发布流程？
变更模型、Prompt、工具或检索配置时运行固定评估集，并按分项阈值阻断明显回归。
完整回答
报告要比较质量、失败类型、延迟和成本，保留基线版本。非确定性指标可用多次运行和置信区间，线上再通过灰度与监控验证真实分布。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义，不说明工程边界
- 只讲理想流程，不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败？
- 你会用什么数据证明改动有效？
结合评估控制台生成 CI 可读的门禁结果。
变更模型、Prompt、工具或检索配置时运行固定评估集，并按分项阈值阻断明显回归。
报告要比较质量、失败类型、延迟和成本，保留基线版本。非确定性指标可用多次运行和置信区间，线上再通过灰度与监控验证真实分布。
结合评估控制台生成 CI 可读的门禁结果。