NVIDIA опубликовала в каталоге Dynamo конфигурации для запуска четырёх южнокорейских моделей с открытыми весами на ускорителях B200. В список вошли A.X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies. Для каждой модели есть конфигурация, в которой одна группа процессов обрабатывает запрос целиком, и конфигурация, в которой обработку входного текста и генерацию ответа выполняют разные группы.
Для A.X K2 эти варианты требуют соответственно 8 и 12 ускорителей B200. Для K-EXAONE 2.0 и Solar Open 2 указаны 4 и 8 ускорителей, для Motif-3 — 2 и 8. В репозитории Dynamo конфигурации Solar Open 2 и Motif-3 отнесены к экспериментальным. Для Motif-3 нужен специальный образ среды выполнения на основе версии vLLM от Motif Technologies с собственными ядрами CUDA.
Во всех четырёх случаях vLLM выполняет модель, а Dynamo распределяет запросы между процессами. Если этапы обработки разделены, Dynamo координирует передачу промежуточного состояния входного текста процессу, который генерирует ответ. Такая схема позволяет независимо менять число процессов на каждом этапе. В некоторых конфигурациях маршрутизатор учитывает, у какого процесса уже сохранён результат обработки начала запроса, чтобы повторно его не вычислять.
NVIDIA приложила к конфигурациям файлы развёртывания для Kubernetes, задания для загрузки весов в общее хранилище и инструкции для замеров. Для запуска нужен кластер с установленным оператором Dynamo и доступ к весам нужной модели. Раздельные профили A.X K2, K-EXAONE 2.0 и Solar Open 2 предусматривают InfiniBand. Перед запуском нужно сверить сетевые настройки этих профилей с оборудованием кластера.
