Agent 评估与追踪控制台
用固定执行轨迹比较两个 Agent 控制策略，并让权限、预算和副作用失败直接阻断发布。
Next.jsTypeScriptZodNode Test
目标用户
需要稳定发布 Agent 的工程团队。
面试价值
展示对 Agent 生产可靠性、可观测性和持续交付的完整理解。
当前交付状态
可运行原型
站内已提供可运行评测控制台：两套策略复用五类固定 Agent 轨迹，逐样本计算五维评分并定位首个回归事件；发布门禁同时检查综合分、单样本分和关键安全违规。当前使用确定性夹具，不代表真实模型延迟、成本或线上稳定性。
验证命令
npm run test:unitnpm run build验证产物
- 五维轨迹评分与样本级回归定位
- 双版本对比和关键安全发布门禁
- 桌面端与手机端评测矩阵
目标架构
复用受控 Agent 的五类确定性事件轨迹，按结果、轨迹、权限、预算和副作用生成样本级评分；版本报告聚合回归位置与关键违规，再由独立门禁决定能否发布。
目标实现步骤
- 01定义事件模型和指标
- 02接入 Trace
- 03建立黄金数据集
- 04实现版本报告与阈值门禁
目标功能
- 评估数据集
- 轨迹回放
- 规则与模型评分
- 版本对比
- 发布门禁
预期难点
- 非确定性评估
- 评分偏差
- Trace 脱敏
- 质量成本权衡
交付与验收
测试策略
- 事件模型测试覆盖生成、工具、交接、护栏和错误
- 黄金数据集校准规则评分、人工评分和模型评分
- 版本回归测试比较成功率、轨迹合法性、P95 与成本
部署步骤
- Trace 采集与在线任务解耦，采集失败不阻塞主流程
- 敏感字段在进入存储前脱敏并配置保留期限
- 评估任务异步运行，发布门禁只读取已完成报告
验收清单
- 单次任务能从结果回溯到完整关键轨迹
- 固定版本评估可重复并显示样本级失败原因
- 关键安全失败不能被综合分数抵消
- 报告同时展示质量、P95 延迟和单任务成本
3 分钟讲解
- 30 秒说明只看最终答案为什么不足
- 60 秒讲 Trace 事件、数据集和评分架构
- 60 秒展示版本回归和发布门禁
- 30 秒总结质量、延迟、成本三方取舍
目标简历表达 · 完成验收后使用
搭建 Agent 评估控制台，以黄金数据集和轨迹评分比较版本成功率、P95 延迟与单任务成本。