Jixue AI学习库
返回面试题库
LLM API初级

什么是 token?中文文本怎么粗略估算 token 数?

TokenCost
30 秒回答

token 是模型分词器切出的计量单位,输入输出都按它计费和占上下文。中文可按 1 个汉字约 1 到 2 个 token 粗估(因分词器和模型而异),正式预算要用官方 tokenizer 或 API 返回的 usage 实测。

完整回答

字数不等于 token 数:英文常见词往往不到 1 个 token,中文一个汉字常见在 1 个 token 上下,标点、英文、数字混排都会改变比例。工程流程:设计期用保守比例粗估上下文与成本,上线后以响应里 usage 的真实统计为准;长文本先检索再喂模型,而不是全文塞入。

加分信息

  • 强调以 API usage 为最终口径
  • 提到不同模型分词器不同,估算值不能跨模型套用

常见问题

  • 用字符数当 token 数做预算
  • 只算输入,不算输出和历史消息

面试官可能追问

项目连接

结合 Prompt 调试与回归台:评估报表按输入与输出 token 估算每条样例成本。