AI 应用需要记录哪些日志
AI 应用上线后,需要能回放问题、分析质量、定位成本。
为什么重要
AI 应用上线后,需要能回放问题、分析质量、定位成本。
核心原理
为什么要记录日志 AI 应用的问题常常不是简单异常,而是答案不稳定、上下文错误、模型拒答不当或成本异常。没有日志就无法定位。 建议记录 请求 ID 和用户来源。 模型名和参数。 输入 token、输出 token 和总成本估算。 检索 query、命中的文档 ID、chunk ID 和分数。 最终传给模型的上下文摘要或安全脱敏版本。 输出格式校验结果。 错误类型和重试次数。 注意隐私 日志应避免记录敏感个人信息。必要时做脱敏、截断和…
工程实现
- 先把概念落到输入、处理、输出和验证链路里。
- 用固定样例或日志验证改动效果,避免只凭一次演示判断质量。
展开说明
为什么要记录日志
AI 应用的问题常常不是简单异常,而是答案不稳定、上下文错误、模型拒答不当或成本异常。没有日志就无法定位。
建议记录
- 请求 ID 和用户来源。
- 模型名和参数。
- 输入 token、输出 token 和总成本估算。
- 检索 query、命中的文档 ID、chunk ID 和分数。
- 最终传给模型的上下文摘要或安全脱敏版本。
- 输出格式校验结果。
- 错误类型和重试次数。
注意隐私
日志应避免记录敏感个人信息。必要时做脱敏、截断和权限隔离。
常见误区
- 只背术语,不说明工程取舍。
- 忽略评测、日志、成本和失败边界。
面试怎么说
AI 应用上线后,需要能回放问题、分析质量、定位成本。