MS

免费工具 · 在浏览器中运行

LLM Token 计数器

粘贴文本,估算其 Token 数,查看字数和字符数,并了解它会占用模型上下文窗口的多少。

估计 Token 数0
词数0
字符数0
行数0
占 200K 上下文的比例0.00%
占 1M 上下文的比例0.00%

这是估计值:不同模型的实际计数不同(通常相差 10% 到 35%)。如需准确数字,请使用服务商的 Token 计数 API。

快速解答

AI 模型以 Token(词的片段)读取文本。英文中 1 个 Token 大约是 4 个字符或四分之三个单词;代码、数字和中文等其他语言通常占用更多。每个模型系列都有自己的分词器,所以本工具给出的是估算值。如需准确数字,请使用服务商的 Token 计数 API,例如 Anthropic 的 count_tokens 接口。

使用方法

  1. 粘贴文本. 提示词、文档或对话。
  2. 查看估算. 得到估计 Token 数、词数、字符数和行数。
  3. 检查上下文窗口. 查看文本占 200K 或 1M Token 上下文的比例。

常见问题

一个词等于多少 Token?

英文平均每个单词约 1.3 个 Token,或每个 Token 约 4 个字符。中文、其他语言和代码会更多。

为什么不同模型的 Token 数不同?

每个模型系列使用自己的分词器,切分文本的方式不同。同一段文本在不同模型间可能相差 10% 到 35%。

如何准确计算 Token?

使用服务商自己的分词器或 Token 计数 API;Claude 的 Messages API 提供 count_tokens 接口。

什么是上下文窗口?

模型在一次请求中能读取的最大 Token 数,包括提示词、对话和它的回答。

我的文本会被上传吗?

不会。估算在你的浏览器中完成。

空格和标点算 Token 吗?

算。它们是分词器切分文本的一部分,通常会与后面的词连在一起。

为什么中文或希伯来语文本会用更多 Token?

分词器主要用英文文本训练,所以其他文字会被切成更小的片段,表达同样的意思需要更多 Token。

图片也算 Token 吗?

算。能读取图片的模型也会把图片转换为 Token,数量取决于图片尺寸。本工具只估算文本。

输出 Token 也计入上下文窗口吗?

计入。提示词、对话以及模型的回答(包括思考过程)都必须放得进上下文窗口。

如何减少提示词的 Token 数?

删除重复内容和不必要的示例,只发送文档中相关的部分,并对重复出现的长文本使用提示词缓存。

相关内容