AI 应用上线后应该监控什么？
监控任务成功代理指标、错误类型、拒答率、工具失败、P95 延迟、Token 成本和用户反馈。
完整回答
线上没有完整真值，因此要组合确定性业务结果、抽样人工复核和漂移检测。告警应能定位模型、Prompt、检索索引和工具版本，避免只有一个总成功率。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义，不说明工程边界
- 只讲理想流程，不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败？
- 你会用什么数据证明改动有效？
结合评估控制台建立线上指标看板。