返回面试题库
eval-observability高级

使用 LLM as Judge 有哪些风险?

LLM JudgeBias
30 秒回答

评分模型可能偏好特定文风、受顺序影响、与被评模型共享偏差,且结果仍有随机性。

完整回答

要用清晰 rubric、随机交换答案顺序、隐藏无关信息,并用人工标注集校准一致性。关键安全和确定性字段不能只依赖模型评分。

加分信息

  • 主动给出可量化的验证指标
  • 能结合失败案例说明取舍

常见问题

  • 只背定义,不说明工程边界
  • 只讲理想流程,不处理异常路径

面试官可能追问

项目连接

结合 AI 面试官对比模型评分与人工评分。