成本与延迟预算
每个任务都应有质量、延迟和成本预算。
为什么重要
没有预算的 Agent 容易因长上下文、多轮调用和并发工具失控。
核心原理
记录输入输出 Token、调用次数、缓存命中和 P95 延迟；按任务价值选择模型、上下文和最大步骤。
工程实现
- 按业务任务聚合成本
- 设置硬预算
- 对照质量指标优化
最小示例
简单分类限制一次低成本调用，复杂研究任务允许多步但设总预算。
常见误区
- 只优化单次 Token
- 降成本不看质量回归
面试怎么说
成本优化要以任务成功率为约束，同时控制模型、上下文、步骤和缓存。