temperature 是什么?设为 0 和接近 1 分别什么效果?
temperature 控制生成的随机性:接近 0 时输出集中、稳定、保守;接近 1 时更发散、多样,也更容易跑偏。
完整回答
机制上它调整下一个词概率分布的平坦度。按任务选档位:分类、抽取、结构化输出、工具调用调低(0 到 0.3),创意和头脑风暴可调高。注意 temperature 0 只是尽量走最高概率路径,平台实现和输入变化仍可能带来差异,关键业务用 Schema 校验和评估集兜底,而不是赌一个参数。
加分信息
- 主动说明 0 不等于数学上的完全确定
- 能给出具体任务的档位建议
常见问题
- 所有任务都用默认值,又抱怨分类结果飘
- 以为调到 0 就可以省掉输出校验
面试官可能追问
- top_p 和 temperature 应该一起调吗?
- 怎么验证调参真的提升了稳定性?
结合 Prompt 调试与回归台:固定样例在不同 temperature 下多次运行,对比通过率。