LLM API 超时和限流应该怎样重试？
仅对可重试错误使用带抖动的指数退避，并设置总时间、次数和成本上限。
完整回答
请求必须能区分网络超时、限流、服务端错误、参数错误和内容拒绝。纯生成可安全重试，但带副作用的工具要靠幂等键和状态查询避免重复执行；超出预算后应降级或返回可恢复错误。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义，不说明工程边界
- 只讲理想流程，不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败？
- 你会用什么数据证明改动有效？
结合 Prompt 调试台记录错误分类与重试次数。