如何降低 LLM 应用成本而不明显伤害质量?
先按业务任务测量成本,再优化模型路由、上下文、输出长度、缓存和调用次数,并用评估守住质量。
完整回答
不要只盯单次 Token。减少无关历史和重复工具结果,简单任务使用合适模型,批量或并行要考虑限流;每次优化都比较成功率、延迟和单任务成本。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合评估控制台展示质量成本前沿。