tokenspeed：用一串假 token，看懂 LLM 的“快“和“慢“

tokenspeed用一串假 token看懂 LLM 的快和慢一个纯 Python 的终端小玩具用假 token 模拟 LLM 的输出速度。没有实际模型没有 API 调用只是让你看看 30 tok/s 到底有多快、800 tok/s 又有多快。这工具是干什么的每个 LLM 基准测试都在报吞吐量“M3 上 47 tok/s”、“4090 上 180 tok/s”、“Groq 上 500 tok/s”。但这些数字除非你亲眼见过 token 以这个速度流出来否则很难产生体感。tokenspeed做的事很简单在终端里以你设定的速度流出一串假 token让你看看那些数字实际看起来是什么样。三种模式code— 带语法高亮的伪代码Python / Rust / JS模拟看 LLM 写代码的场景text— Wikipedia 散文模拟聊天/回答场景think— 暗淡斜体的推理句子和代码交替出现模拟推理模型边想边说用法python3 tokenspeed.py# 默认 30 tok/s交互式选模式python3 tokenspeed.py120# 120 tok/s交互式选模式python3 tokenspeed.py--modecode# 跳过选模式python3 tokenspeed.py120--modethink# 组合参数无任何依赖——只要 Python 3 和一个真正的终端不是 IDE 内嵌的。核心洞察数字是一样的体感完全不一样这个工具最有价值的地方不是帮你测速度而是帮你建立对速度的直觉。作者给出的建议是这样试默认30tok/s读一读按15 tok/s——树莓派级本地模型按560 tok/s——托管 Claude 或 GPT按7200 tok/s——Groq按9800 tok/s——Cerebras瓶颈变成你的眼球然后在同一个速率下切换--mode code和--mode text。差距很明显而且是有意设计的。原因在于 token 密度。30 tok/s 的英文散文每秒大约传递 23 个单词信息密度高你读得过来。30 tok/s 的代码每秒可能只传递 10-15 个字符因为标识符和关键字经常被 BPE tokenizer 拆成多块——processUserInput可能被拆成processUserInputcalculate_score被拆成calculate_score。这意味着相同 tok/s 下代码落地到屏幕上的可见内容远少于自然语言。基准测试的数字没有错但体感差异非常大取决于你在看什么类型的输出。控制按键作用/-按 ×1.25 微调速率1-9跳转预设5/10/20/30/60/100/200/400/800 tok/s空格暂停/继续q退出这个预设的设计也很讲究——不是均匀分布而是按数量级分布从 5 到 800 全覆盖。因为不同部署方案的速度差距本质上是数量级的。Token到底是什么工具用近似 BPEByte-Pair Encoding的方式模拟了常见 tokenizer 的行为但不是精确复现任何一个具体 tokenizertiktoken、Claude、或其他厂商的 tokenizer 之间本身就存在分歧。大致规律短单词往往是一个 token较长的标识符经常被拆成多个 chunk标点和运算符通常也算 token英文散文平均约 1.3 tokens/word30 tok/s ≈ 23 words/s。这个换算关系是那串预设数字背后真正的意义。价值和局限价值建立速度直觉这是最核心的价值。看数字和看实际流出的区别就像看菜单和吃菜的区别。零门槛纯 Python零依赖一行命令就能跑。三种精心设计的模式覆盖了 LLM 输出的主要场景特别是 code 和 think 模式针对的都是前沿使用场景。信息密度差异的显式暴露代码 vs 文本的 token 密度差异被设计成核心功能而不是一个附带发现。局限模拟而非真实它生成的是伪代码和固定文本不是真正的 LLM 输出。真实模型输出时会有停顿、思考、修正这种不均匀性没有被模拟。终端依赖在 IDE 内嵌终端或受限环境中效果不好。没有网络版本的可比展示虽然有一个index.html文件但核心体验在终端。单机/单 session不能模拟并发或多轮对话的累积效应。没有提供真实的 tokenizer无法精确复现某个具体模型的 token 开销对于需要精确计费评估的场景帮助有限。这个工具的存在说明了什么tokenspeed很小——一个 Python 文件两百多行代码189 个 stars对于一个纯玩具来说已经不少了。但它指向了一个真实的问题LLM 行业在快的定义上缺乏统一标准。tok/s 是一个技术指标不是用户体验指标。同样的 tok/s不同内容类型、不同终端、不同阅读速度下体感可以差几倍。而绝大多数基准测试只报一个数字没有人去解释这个速度下用户实际看到的是什么。这个工具有点像一个翻译器——把 tok/s 翻译成人类可感的体验。虽然它没有解决标准化问题但至少让更多的人意识到了这个问题的存在。Sources:MikeVeerman/tokenspeed - GitHubtokenspeed - index.htmlWeb 版