返回知识库
llm进阶

流式响应与中断处理

流式响应让客户端逐步接收事件,而不是等待完整结果。

01

为什么重要

它改善首字延迟,但增加断线、重连和半成品状态处理。

02

核心原理

UI 应区分生成中、完成、取消和失败;服务端要在断开时停止下游工作并避免重复写入。

03

工程实现

  • 解析事件类型
  • 支持取消
  • 完成后再持久化最终内容
04

最小示例

用户取消生成时终止请求,并把草稿标记为未完成。
05

常见误区

  • 逐字符拼接不区分事件
  • 断线后重复提交副作用
06

面试怎么说

流式输出的难点不在展示文字,而在事件状态、取消和幂等。