返回快讯列表
开发者动态

OpenAI 开源 MultiLangBench,公布 GPT 在 COBOL 与 Fortran 等语言上的进展

OpenAI 发布覆盖20种语言的 MultiLangBench,并用保持程序输出一致的 COBOL 迁移评测展示模型进展,相关测试设置已公开。

OpenAI 于10月19日公布低资源编程语言研究,重点覆盖 COBOL、Fortran、Visual Basic 等训练代码与文档相对较少、却仍承载关键业务的软件语言。公司推出两套互补评测:MultiLangBench 要求模型以20种语言从零实现兼容 SQLite 的数据库引擎;COBOL 迁移评测则要求把已有程序改写为其他语言,同时保持原有可观察行为。

按照 OpenAI 公布的内部结果,GPT-6 Astra 在 MultiLangBench 的平均测试通过率为87.4%,GPT-5.6 Sol 为26.8%;GPT-6 Luna 达到40.3%,估算 API 成本较后者降低约78%。在 COBOL 迁移任务中,GPT-6.1 Sol 低推理强度的准确率为86.6%,较高推理强度达到97.9%。这些数字对应特定评测设置,不能直接等同于真实企业系统的迁移成功率。

研究特别关注旧系统行为的保留。例如,COBOL 定点运算在没有显式要求时会丢弃多余小数,改写后若自动四舍五入,即使程序正常运行,也可能改变财务结果。迁移评测因此要求隐藏测试的输出逐字节一致,并以全部测试通过作为成功条件。OpenAI 已公开 MultiLangBench 的设置和测试套件。

更多快讯