LLM 里的 temperature 和 top_p 分别控制什么?在客服问答、创意写作、代码生成这三类场景里你会如何设置?
好的回答应说明 temperature 控制采样分布的平滑程度,top p 控制 nucleus sampling 的候选概率质量范围。客服问答和代码生成通常更偏稳定、可复现,应使用较低 temperature;创意写作可以适当提高随机性。候选人还应说明不要机械套固定数值,而要结合评测、失败案例和产品容错空间调参。
题目背景
这道题适合用来判断候选人是否只会背参数名,还是能把参数和真实产品场景联系起来。
完整回答
好的回答应说明 temperature 控制采样分布的平滑程度,top_p 控制 nucleus sampling 的候选概率质量范围。客服问答和代码生成通常更偏稳定、可复现,应使用较低 temperature;创意写作可以适当提高随机性。候选人还应说明不要机械套固定数值,而要结合评测、失败案例和产品容错空间调参。
加分信息
- 能结合 AI 应用工程师 的真实工作场景回答。
- 能结合 后端工程师 的真实工作场景回答。
常见问题
- 只给概念定义,没有说明工程场景。
- 没有提到验证、监控或失败处理。
面试官可能追问
- 为什么通常不建议同时大幅调整 temperature 和 top_p?
- 如果模型开始胡编,你会先调参数还是先改提示词和上下文?
回答时尽量连接到一个可运行项目、评测记录、日志或复盘材料。