Token、上下文与计费
Token 是模型处理输入和生成输出的计量单位。
为什么重要
它同时决定上下文容量、延迟和成本。
核心原理
请求中的指令、历史消息、工具结果和输出都会占用 Token；字符数不能直接等同于 Token 数。
工程实现
- 记录输入与输出 Token
- 为工具结果和输出预留预算
最小示例
长文档问答先检索相关片段，再把有限证据放入上下文。
常见误区
- 把 Token 当字符
- 只统计用户输入
面试怎么说
Token 是模型计算和计费单位，工程上要给输入、工具结果和输出分别设预算。
Token 是模型处理输入和生成输出的计量单位。
它同时决定上下文容量、延迟和成本。
请求中的指令、历史消息、工具结果和输出都会占用 Token；字符数不能直接等同于 Token 数。
Token 是模型计算和计费单位，工程上要给输入、工具结果和输出分别设预算。