OpenAI запустила GPT-6 Astra Ultrafast — ускоренный режим модели, работающий на графических процессорах NVIDIA Blackwell. По данным NVIDIA, он уже доступен через OpenAI API, а также части пользователей ChatGPT Work и Codex, которые соответствуют условиям доступа. Подробности о тарифах и подключении NVIDIA предлагает уточнять в руководстве OpenAI.
Компания заявляет, что Ultrafast генерирует токены до восьми раз быстрее режима Astra Standard. Это максимальный показатель производителя: в публикации нет независимых измерений, полного набора тестов или данных о задержке для разных типов запросов. NVIDIA связывает ускорение с оптимизацией инференса — этапа, на котором уже обученная модель формирует ответ, — под архитектуру Blackwell.
Ускоренный вывод рассчитан прежде всего на задачи с многократными обращениями к модели. Например, программный агент пишет код, вызывает инструмент, проверяет результат и снова обращается к модели. Сокращение каждой паузы может уменьшить общее время такого цикла, но фактический выигрыш будет зависеть от запроса, инструментов, сети и выбранной конфигурации API.
OpenAI также использует собственные модели для настройки программного обеспечения инференса на ускорителях NVIDIA. По словам компаний, модели помогают тестировать и внедрять оптимизации, а программируемая платформа позволяет использовать одну инфраструктуру для обучения, инференса и обучения с подкреплением. Эти сведения и оценка производительности приведены участниками партнёрства; сторонней проверки в первоисточнике нет.
