Extropic 9 月 4 日发了一篇署名 Guillaume Verdon 等四人的研究文章，介绍 Z1T，一族为稀疏概率芯片设计的类 transformer 模型。权重放在 Hugging Face 上，训练配方在 GitHub。
先看硬件。Z1 用亚阈值 CMOS 工艺，8 个核心，269568 个概率比特，2135904 条耦合边，每个节点连 16 个邻居，采样频率超过 50MHz，整片功耗不到 1 瓦。它做的事情是对一个可编程 Ising 模型跑 Gibbs 采样。连续值用一种叫 dy4p 的四比特方案量化成概率比特束，真实数值靠平均 N 次采样得到，精度可以在运行时调。
模型这边为了迁就硬件改了两处。RMSNorm 换成 Dynamic Tanh，softmax 注意力换成用 4 稀疏 Q/K/V 投影的门控卷积注意力。推理拆到异构硬件上跑，Z1 负责 DyT 和采样投影，板载 FPGA 处理嵌入、池化、残差、超越函数和稠密词表读出。
能耗数字是这篇文章的卖点。Z1T 每 token 294.52 纳焦，其中 Z1 采样只占 8.74 纳焦，剩下 285.78 纳焦是 FPGA 的。H100 在 10%、50%、100% 三档 MFU 下分别是 40.9、8.17、4.09 微焦，比值大约 139 倍、28 倍和 14 倍。只算跑在 Z1 上的那些层，比值能到 468 倍以上。延迟方面每 token 58.8 微秒，折合约 17000 tok/s。
作者自己划了边界，这些能耗基于 Z1 的理论功耗推算，锚在 X0 的实验上，没算 Z1 与 FPGA 之间的数据搬运，也没建模需要多少片芯片。他们还承认 FPGA 烧掉了 95% 以上的能量，真做一块专用芯片才有可能逼近千倍。另一个不太好看的数字是，Z1T 要达到和 GPT-2 相同的 loss，需要多出大约一个数量级的 FLOPs，靠单次运算便宜三个数量级，才把总账拉回来两个数量级。