上下文窗口与截断策略
上下文窗口是一次推理可接收的总 Token 容量。
为什么重要
超长内容会增加成本并可能稀释关键指令。
核心原理
应用应按优先级保留系统约束、当前任务、必要历史和证据,删除或摘要低价值内容。
工程实现
- 定义消息优先级
- 记录截断原因
- 为输出留空间
最小示例
会话超过预算后,将旧轮次压缩成带事实与未决事项的摘要。
常见误区
- 盲目发送完整历史
- 截断后不保留任务约束
面试怎么说
上下文管理不是简单截尾,而是按任务价值压缩、检索和预留输出预算。
上下文窗口是一次推理可接收的总 Token 容量。
超长内容会增加成本并可能稀释关键指令。
应用应按优先级保留系统约束、当前任务、必要历史和证据,删除或摘要低价值内容。
上下文管理不是简单截尾,而是按任务价值压缩、检索和预留输出预算。