重试、幂等与故障恢复
AI 请求和工具调用都可能超时、限流或部分成功。
为什么重要
盲目重试会重复收费或重复执行副作用。
核心原理
只对可重试错误做指数退避;副作用操作使用幂等键和状态查询;长任务从持久化检查点恢复。
工程实现
- 错误分类
- 幂等键
- 退避加抖动
- 熔断与降级
最小示例
支付工具超时后先按幂等键查询结果,而不是再次扣款。
常见误区
- 捕获所有异常后重试
- 把模型请求与业务事务绑死
面试怎么说
生产可靠性依赖错误分类、幂等和可恢复状态,不是简单加三次重试。
AI 请求和工具调用都可能超时、限流或部分成功。
盲目重试会重复收费或重复执行副作用。
只对可重试错误做指数退避;副作用操作使用幂等键和状态查询;长任务从持久化检查点恢复。
生产可靠性依赖错误分类、幂等和可恢复状态,不是简单加三次重试。