返回面试题库
llm-api高级

API 层如何设计上下文截断而不破坏任务?

ContextTruncation
30 秒回答

对消息分级,固定保留高优先级指令和当前任务,按价值压缩历史与工具结果,并预留输出预算。

完整回答

截断器应输出被删除或摘要的内容清单,支持针对不同任务配置。结构化业务状态不应只存在聊天历史中;必要事实应从数据库或检索层按需重建。

加分信息

  • 主动给出可量化的验证指标
  • 能结合失败案例说明取舍

常见问题

  • 只背定义,不说明工程边界
  • 只讲理想流程,不处理异常路径

面试官可能追问

项目连接

结合面试官项目保存结构化会话状态而非完整依赖历史。