你会如何为不同任务选择模型?
先定义任务质量下限,再比较候选模型的成功率、P95 延迟、成本和能力约束。
完整回答
用真实任务评估集分桶测试,不只看通用榜单。简单抽取、复杂推理和工具规划可使用不同模型,并保留回退路径;每次更换模型都必须跑回归评估。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合评估控制台展示按任务路由的质量成本曲线。
先定义任务质量下限,再比较候选模型的成功率、P95 延迟、成本和能力约束。
用真实任务评估集分桶测试,不只看通用榜单。简单抽取、复杂推理和工具规划可使用不同模型,并保留回退路径;每次更换模型都必须跑回归评估。
结合评估控制台展示按任务路由的质量成本曲线。