腾讯在 8 月 28 日把混元 Hy4 preview 的权重放上 Hugging Face，仓库 tencent/Hy4-preview，许可证 Apache 2.0。主干 770B 总参数，每 token 激活 49B，另带一个原生 MTP 层用于投机解码，那一层本身 10B 总参数、0.7B 激活，所以 safetensors 元数据显示的是 780B。
结构是 78 层，第一层为普通 dense FFN，其余 77 层是 MoE，每层 256 个路由专家加 1 个共享专家，每个 token 走 top-8 路由专家再加共享专家。hidden size 6144，MoE 中间层 2048，FFN 中间层 18432，词表 120832，残差走 4 条流。注意力用的是 Gated DeepSeek Sparse Attention，配合 IndexCache 在层间复用稀疏索引，64 个注意力头，query 压到 2048，KV 压到 512，indexer 取 top-k 2048。上下文长度 100 万 token。
腾讯还公布了一次内部盲评，163 名内部专家给 203 个工程任务的输出打分。对 GLM-5.3 的平均分是 2.99 比 2.92，胜平负三项为 46.8%、12.8%、40.4%。对 Kimi K3 是 2.99 比 2.94，三项为 51.2%、7.9%、40.9%。