OpenAI 发布了标注日期为 2026 年 10 月 19 日的博客,介绍在 COBOL、Fortran、Visual Basic 等低资源编程语言上的 coding 进展。公司称,这类语言可供模型学习的公开代码和文档比 Python、JavaScript 少,却仍支撑着关键系统。同一话题的 OpenAI X 帖发于北京时间 10 月 20 日约 06:30。
OpenAI 称用了两项自有评测来衡量进步。MultiLangBench 要求模型用 20 种编程语言分别从零写出 SQLite 兼容的数据库引擎。另一项 COBOL 迁移评测则要求把 COBOL 程序迁到 C++、Java、Kotlin、Python 或 Rust,并保持行为一致。
MultiLangBench
按 OpenAI 自测数字,在最大推理力度下,GPT-6 Astra 在 20 种语言上的平均测试通过率为 87.4%,高于 GPT-5.6 Sol 的 26.8%,且每种语言都有提升。OpenAI 列举的例子包括:COBOL 从 10.9% 到 72.1%,OCaml 从 25.6% 到 85.8%,Fortran 从 21.4% 到 83.5%,Visual Basic 从 27.5% 到 89.4%。公司称 Astra 在 20 种语言里有 19 种超过 83%,最难的 COBOL 为 72%。
OpenAI 还称,GPT-6 Luna 在同一套评测的每种语言上也超过 GPT-5.6 Sol,最大推理力度下平均通过率 40.3%,估计平均 API 成本约低 78%(每样本 0.77 美元,对 GPT-5.6 Sol 的 3.48 美元)。
OpenAI 已把 MultiLangBench 的评测设置、测试套件和各语言结果发布到 GitHub,方便开发者查看测什么、各语言表现如何。
COBOL 迁移
在 OpenAI 的 COBOL 迁移评测上,GPT-6.1 Sol 在低推理力度下准确率 86.6%,同设定的 GPT-5.6 Sol 为 5.4%,OpenAI 称该次成本约低 39%。更高推理力度下准确率达到 97.9%,公司形容评测已接近饱和。OpenAI 也写明,落到生产系统仍需专家对照业务规则做审查和测试。
