怎样建立有价值的 AI 评估数据集?
从真实任务和失败样本中抽取代表性、边界、拒绝和安全案例,并保存期望结果与评分依据。
完整回答
数据集按场景分桶并版本化,训练或调 Prompt 时防止只针对少量样例过拟合。线上新失败经脱敏审核后加入回归集,且保留一个不参与日常调试的盲测集。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合评估控制台管理黄金集和失败集。