如何拆解一个 Agent 的延迟?
按模型首字与总时延、每次工具调用、排队、网络和重试分解关键路径。
完整回答
先通过 Trace 找到瓶颈,再考虑并行无依赖查询、减少轮次、流式展示和模型分层。优化平均值不够,还要关注 P95、超时和部分失败。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合任务 Agent 的 span 瀑布图说明。
按模型首字与总时延、每次工具调用、排队、网络和重试分解关键路径。
先通过 Trace 找到瓶颈,再考虑并行无依赖查询、减少轮次、流式展示和模型分层。优化平均值不够,还要关注 P95、超时和部分失败。
结合任务 Agent 的 span 瀑布图说明。