流式响应和非流式响应的区别？什么场景必须用流式？
非流式等模型生成完一次性返回；流式按增量分块推送，用户很快就能看到开头。长输出和聊天界面必须用流式改善感知延迟；短输出、批处理、需要整体校验 JSON 的场景用非流式更简单。
完整回答
流式改变的是体验不是总时长：总生成时间差不多，但首个 token 到达时间大幅提前。代价是工程复杂度：增量解析、断线重连、中途取消，内容审核从一次性变成滚动式，结构化输出要拼接完整后再校验。判断标准：用户盯着等的输出用流式，机器消费、需要完整校验后落库的输出用非流式。
加分信息
- 指出流式不减少总 token 与总耗时
- 提到增量解析、取消与重连的复杂度
常见问题
- 为了显得高级，给批处理任务也上流式
- 流式拼接到一半就当成完整 JSON 解析
面试官可能追问
- 流式传输中连接断了怎么恢复？
- 结构化输出场景怎么兼顾流式体验与整体校验？
暂无直接项目关联；本站实验均为非流式一次性校验，可作为机器消费选非流式的实例。