返回面试题库
deploy-cost中级

如何降低 LLM 应用成本而不明显伤害质量?

CostRouting
30 秒回答

先按业务任务测量成本,再优化模型路由、上下文、输出长度、缓存和调用次数,并用评估守住质量。

完整回答

不要只盯单次 Token。减少无关历史和重复工具结果,简单任务使用合适模型,批量或并行要考虑限流;每次优化都比较成功率、延迟和单任务成本。

加分信息

  • 主动给出可量化的验证指标
  • 能结合失败案例说明取舍

常见问题

  • 只背定义,不说明工程边界
  • 只讲理想流程,不处理异常路径

面试官可能追问

项目连接

结合评估控制台展示质量成本前沿。