使用 LLM as Judge 有哪些风险?
评分模型可能偏好特定文风、受顺序影响、与被评模型共享偏差,且结果仍有随机性。
完整回答
要用清晰 rubric、随机交换答案顺序、隐藏无关信息,并用人工标注集校准一致性。关键安全和确定性字段不能只依赖模型评分。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合 AI 面试官对比模型评分与人工评分。