Agent 评估与追踪控制台
把任务成功率、工具轨迹、延迟、成本和回归结果放进同一个质量门禁。
PythonOpenAI Agents SDKPostgreSQLNext.js
目标用户
需要稳定发布 Agent 的工程团队。
面试价值
展示对 Agent 生产可靠性、可观测性和持续交付的完整理解。
核心架构
采集运行 Trace 后标准化为事件序列；离线评估执行规则评分、结果评分和轨迹评分，并按版本聚合质量、延迟与成本。
实现步骤
- 01定义事件模型和指标
- 02接入 Trace
- 03建立黄金数据集
- 04实现版本报告与阈值门禁
核心功能
- 评估数据集
- 轨迹回放
- 规则与模型评分
- 版本对比
- 发布门禁
技术难点
- 非确定性评估
- 评分偏差
- Trace 脱敏
- 质量成本权衡
交付与验收
测试策略
- 事件模型测试覆盖生成、工具、交接、护栏和错误
- 黄金数据集校准规则评分、人工评分和模型评分
- 版本回归测试比较成功率、轨迹合法性、P95 与成本
部署步骤
- Trace 采集与在线任务解耦，采集失败不阻塞主流程
- 敏感字段在进入存储前脱敏并配置保留期限
- 评估任务异步运行，发布门禁只读取已完成报告
验收清单
- 单次任务能从结果回溯到完整关键轨迹
- 固定版本评估可重复并显示样本级失败原因
- 关键安全失败不能被综合分数抵消
- 报告同时展示质量、P95 延迟和单任务成本
3 分钟讲解
- 30 秒说明只看最终答案为什么不足
- 60 秒讲 Trace 事件、数据集和评分架构
- 60 秒展示版本回归和发布门禁
- 30 秒总结质量、延迟、成本三方取舍
简历表达
搭建 Agent 评估控制台，以黄金数据集和轨迹评分比较版本成功率、P95 延迟与单任务成本。