返回面试题库
eval-observability中级

怎样建立有价值的 AI 评估数据集?

EvalDataset
30 秒回答

从真实任务和失败样本中抽取代表性、边界、拒绝和安全案例,并保存期望结果与评分依据。

完整回答

数据集按场景分桶并版本化,训练或调 Prompt 时防止只针对少量样例过拟合。线上新失败经脱敏审核后加入回归集,且保留一个不参与日常调试的盲测集。

加分信息

  • 主动给出可量化的验证指标
  • 能结合失败案例说明取舍

常见问题

  • 只背定义,不说明工程边界
  • 只讲理想流程,不处理异常路径

面试官可能追问

项目连接

结合评估控制台管理黄金集和失败集。