返回知识库
llm入门

上下文窗口与截断策略

上下文窗口是一次推理可接收的总 Token 容量。

01

为什么重要

超长内容会增加成本并可能稀释关键指令。

02

核心原理

应用应按优先级保留系统约束、当前任务、必要历史和证据,删除或摘要低价值内容。

03

工程实现

  • 定义消息优先级
  • 记录截断原因
  • 为输出留空间
04

最小示例

会话超过预算后,将旧轮次压缩成带事实与未决事项的摘要。
05

常见误区

  • 盲目发送完整历史
  • 截断后不保留任务约束
06

面试怎么说

上下文管理不是简单截尾,而是按任务价值压缩、检索和预留输出预算。