Agent 结果与轨迹评估
Agent Eval 同时衡量最终结果和执行过程。
为什么重要
只看答案可能掩盖越权、绕路和不稳定工具调用。
核心原理
固定任务集应定义成功条件、允许工具、预算和关键轨迹约束，并结合规则、人工和模型评分。
工程实现
- 结果与过程分开
- 固定模型与工具版本
- 记录置信区间和失败类型
最小示例
工单创建正确但调用了未授权客户接口，结果分通过而安全分失败。
常见误区
- 只用主观演示
- 把 LLM Judge 当唯一真值
面试怎么说
Agent 评估要检查任务成功、轨迹合法、成本延迟和安全边界。