OpenAI опубликовала набор MultiLangBench и тестовый комплект для оценки программирования на 20 языках, включая COBOL, Fortran, OCaml и Visual Basic. Такие языки представлены в обучающих данных меньшим объёмом кода и документации, чем Python и JavaScript. Задание предлагает модели с нуля создать совместимый с SQLite движок: программа получает исходную базу и SQL-запрос, а результат сравнивается с эталонной реализацией SQLite. Компания разместила комплект и результаты по каждому языку на GitHub.
По данным OpenAI, GPT‑6 Astra при максимальном уровне рассуждений выполнила в среднем 87,4% тестов против 26,8% у GPT‑5.6 Sol. GPT‑6 Luna получила 40,3% при оценочной стоимости API на 78% ниже, чем у GPT‑5.6 Sol. Это результаты авторов бенчмарка, а не независимое подтверждение качества моделей; режим максимальных рассуждений нельзя переносить на низкий.
Вторая оценка проверяет миграцию COBOL-программ на C++, Java, Kotlin, Python или Rust. Успех засчитывается только при прохождении скрытых тестов с побайтовым совпадением наблюдаемых результатов. В этом тесте GPT‑6.1 Sol показала 86,6% при низком уровне рассуждений против 5,4% у GPT‑5.6 Sol при том же режиме и, по расчётам OpenAI, при меньшей стоимости.
Компания подчёркивает, что перенос производственных систем всё равно требует экспертной проверки, тестов бизнес-правил и учёта зависимостей.
