英伟达与印度理工学院马德拉斯分校 AI4Bharat 于 10 月 16 日介绍 Nemotron-pretraining-Indic-v1,规模约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言。团队计划近期提供语料及配套的开放生成流程。数据同时包含 22 种语言的本族文字,以及其中 12 种语言的拉丁字母转写,共形成 34 种语言与文字组合。
这批数据主要由筛选后的英文材料翻译而来,内容涉及网页、问答、数学和代码。生成流程使用 NeMo Data Designer,保留来源标识,并对译文进行质量评估和定向修复;涉及代码、公式和格式时,会区分需要翻译和需要保留的部分。部分拉丁转写数据在本族文字译文通过检查后再转换,避免直接从英文生成时引入额外内容。
官方也公布了能力变化:Nemotron 3.5 Super VL 在一个混合合成数据与自然语料的印度语言继续预训练阶段后,五个知识及推理基准提高约 4.98 至 9.82 个百分点。该结果反映整个训练阶段,不能单独归因于这批合成语料。团队同时强调,翻译数据仍需与原生语言文本配合,才能更好覆盖当地知识和文化。