DMIS Lab 于 10 月 14 日发布 UltraBERT，包括 150M、380M 两种英文编码器，以及可直接生成向量的 UltraBERT-Embed-150M。模型原生支持 32K 上下文，以 Apache 2.0 许可开放。它面向文本分类、检索和嵌入等任务：一次读取输入后输出表示或评分，适合承担知识库索引、文档筛选等不需要逐字生成答案的环节。
团队将训练配方作为核心改动。在消融实验中，低掩码比例更有利于分类，高掩码比例更有利于检索，简单混合却会让同一个输出头面对相互冲突的目标。因此 UltraBERT 在同一批次中混合 5% 与 50% 掩码序列，共享编码器主体，但分别使用输出头；教师模型的蒸馏信号只用于低掩码分支，高掩码分支继续采用掩码语言建模训练。
作者报告，380M 模型在其比较设置下获得 GLUE 91.0、BEIR 47.7，Embed-150M 在 MTEB 英文 v2 上得到 67.24。长上下文测试也覆盖了 32K 范围内的 passkey 检索。这些数字来自发布团队的基准，不应直接当成中文资料或具体企业知识库的效果。官方已给出 Transformers 与 Sentence Transformers 调用示例，方便复现与继续微调。