什么是 token?中文文本怎么粗略估算 token 数?
token 是模型分词器切出的计量单位,输入输出都按它计费和占上下文。中文可按 1 个汉字约 1 到 2 个 token 粗估(因分词器和模型而异),正式预算要用官方 tokenizer 或 API 返回的 usage 实测。
完整回答
字数不等于 token 数:英文常见词往往不到 1 个 token,中文一个汉字常见在 1 个 token 上下,标点、英文、数字混排都会改变比例。工程流程:设计期用保守比例粗估上下文与成本,上线后以响应里 usage 的真实统计为准;长文本先检索再喂模型,而不是全文塞入。
加分信息
- 强调以 API usage 为最终口径
- 提到不同模型分词器不同,估算值不能跨模型套用
常见问题
- 用字符数当 token 数做预算
- 只算输入,不算输出和历史消息
面试官可能追问
- 输入 token 和输出 token 的价格一样吗,怎么查?
- 超长文档怎么做成本预估?
结合 Prompt 调试与回归台:评估报表按输入与输出 token 估算每条样例成本。