Jixue AI学习库
返回知识库
LLM入门

温度与采样

temperature 和 top_p 控制生成的随机程度:越低越稳定保守,越高越多样发散。

01

为什么重要

同一个 Prompt 换一组采样参数,输出稳定性完全不同;结构化输出要稳,创意任务要活,参数必须跟任务走。

02

核心原理

每一步模型输出词表上的概率分布,temperature 调整分布的平坦度,top_p 只在累计概率前 p 的词里采样。temperature 0 是尽量取最高概率路径,但不是数学上的完全确定:服务端实现和输入变化仍可能带来差异。

03

工程实现

  • 分类、抽取、工具调用:调低(0 到 0.3)
  • 创意、头脑风暴:可以调高
  • 关键输出靠 Schema 和评估兜底,不赌单个参数
04

展开说明

固定标签的分类任务,temperature 0.8 时同一条输入跑 10 次可能出现 3 种标签;调到 0 后结果基本收敛,但仍要用评估集验证而不是默认它永远一致。

05

常见误区

  • 以为 temperature 0 就绝对不会变
  • 所有场景都用默认值,分类任务也开高随机性
06

面试怎么说

temperature 与 top_p 管采样随机性:确定性任务调低、创意任务调高;0 只减少随机性,稳定性最终靠结构化输出和评估保证。