llm入门

模型选择与任务分层

模型选择应同时考虑质量、延迟、成本和工具能力。

为什么重要

所有请求使用同一模型会造成不必要的成本或质量风险。

先用代表性数据定义质量下限，再对候选模型测试成功率、P95 延迟和单任务成本。

分类请求走低成本模型，复杂规划请求走能力更强的模型。

我用评估集而不是主观感受选模型，并按任务难度分层路由。