返回快讯列表
最新动态

Cohere 公布多语言推理研究:Tiny Aya L2-Thinker 覆盖六十种语言

团队用英语推理、少量多语言推理和多语言普通数据混合训练,并公开论文、数据与模型体验入口。

Cohere 10 月 6 日介绍 Multilingual Bridges 研究,目标是让模型不仅用用户的语言回答,也能用同一种语言进行推理。团队在 Tiny Aya base 的 32K 上下文版本上应用新的数据混合方法,发布了 3.35B 的 Tiny Aya L2-Thinker,并同时提供 En-Thinker 英语推理对照模型、权重和多语言推理数据。

官方报告称,L2-Thinker 在 60 种语言里的同语种推理比例超过 93%。方法使用三类数据:约 170 万条英语逐步推理样本学习解题能力;约 44 种语言的少量多语言推理样本学习用目标语言思考;多语言非推理问答则帮助能力迁移到没有推理监督的新语言。

研究也关注文化语境。文章展示了一道印地语问题,模型用印地语推理时能考虑当地习俗,而英语推理模型给出偏向西方语境的回答。团队在六十种语言的数学、常识、文化、指令跟随和开放写作基准上比较两个模型,并明确指出竞争级数学 PolyMath 的准确率下降更明显。研究页同时给出论文、Hugging Face 模型和数据集入口。

更多快讯