Hugging Face 于 10 月 15 日公布 BERT 分词器的性能优化，表示相对 tokenizers 0.23，编码吞吐最高可提升约 50 倍。团队正在推动 tokenizers 1.0 稳定化，本次进一步优化在文章发布时仍处于 Pull Request 阶段。这里提升的是文本进入模型前的分词速度，不能直接等同于模型推理快了 50 倍。
团队发现，英文测试中约 88% 的编码时间花在文本规范化，而真正选择 token 的 WordPiece 仅占约 8%。新方案利用向量指令一次检查 16 个字节，让无需 Unicode 处理的 ASCII 片段快速通过，并按字符区间缓存检查结果。对于已经符合规范的文本，还能减少重复复制和内存分配。
收益随语种和输入长度变化。英文与源代码获得更大提升，俄语、希腊语和阿拉伯语相对主分支约快 2.2 至 3.2 倍；中文在这次测试中没有加速，因为 ASCII 比例低，而且 BERT 仍需在汉字周围添加空格。官方对各语料检查后的 token ID 保持一致，并明确指出，极短输入可能需要支付额外优化开销。