如何在服务端处理模型 API 限流？
使用并发控制、队列、指数退避和按租户配额，优先保护核心请求。
完整回答
应监控请求数和 Token 维度的限制，避免大量长请求挤占容量。可以按任务优先级排队、提前估算 Token，并在高负载时降级模型或缩短非关键输出，而不是让客户端无限重试。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义，不说明工程边界
- 只讲理想流程，不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败？
- 你会用什么数据证明改动有效？
结合评估控制台展示吞吐、429 和排队时延。