如何管理 Prompt 版本并避免改坏线上效果?
Prompt 与模型、Schema 和评估集一起版本化,变更前后跑固定回归并灰度发布。
完整回答
日志应记录实际使用的 Prompt 版本和模型配置。评估至少覆盖质量、拒答、延迟和成本;上线后监控真实失败样本,再把经过脱敏和审核的样本补入评估集。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合 Prompt 调试台实现版本对比与发布门禁。