Token 是什么,它为什么影响成本和上下文?
Token 是模型处理文本的单位,输入、输出、历史和工具结果都会占用上下文并参与计费。
完整回答
工程上应按任务记录输入与输出 Token,为输出预留空间,并通过检索、摘要和裁剪减少无关上下文。Token 数不能用字符数直接替代,应以实际 tokenizer 或 API usage 为准。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合 Prompt 调试台展示单任务 Token、延迟和成本。