AWS выпустила многоузловые Ray LLM Deep Learning Containers для инференса больших языковых моделей. Готовый стек включает Ray Serve LLM, vLLM, библиотеку переноса данных NVIDIA NIXL и компоненты Elastic Fabric Adapter. Конфигурация задаётся в YAML и выводит модель через OpenAI-совместимый endpoint, поэтому разработчику не требуется собирать собственный GPU-образ или писать отдельный обработчик запросов.
Один из поддержанных сценариев разделяет две фазы инференса. Prefill обрабатывает весь входной промпт и строит KV-кэш, а decode последовательно генерирует токены. В примере AWS эти этапы работают на разных GPU-узлах: NIXL переносит KV-кэш через EFA, а Ray Serve соединяет их за одним endpoint. Такое разделение позволяет независимо настраивать и масштабировать фазы, но выигрыш зависит от скорости межузловой передачи.
Референсная конфигурация развёрнута в Amazon EKS. Системный узел m7i.xlarge размещает KubeRay и головной процесс Ray, а два g6.8xlarge обслуживают prefill и decode. GPU-группа закреплена в одной зоне доступности, поскольку EFA не работает между зонами. Для каждого worker запрашиваются один GPU и один EFA-интерфейс. Важная настройка LIBFABRIC заставляет NIXL использовать EFA; без неё возможен незаметный переход на UCX с передачей на скорости TCP.
Это шаблон инфраструктуры, а не универсальное обещание производительности. Он требует платного аккаунта AWS, квот как минимум на 64 vCPU для двух g6.8xlarge, частных подсетей, NAT Gateway и привилегированных worker-контейнеров. AWS также указывает диапазоны времени создания компонентов, но они зависят от региона и ёмкости. Перед применением нужно проверить стоимость, доступность инстансов, фактически выбранный сетевой backend и параметры модели на собственной нагрузке.
