AWS добавила в Amazon SageMaker Inference разделение графических ускорителей с помощью NVIDIA Multi-Instance GPU (MIG). Теперь на управляемой точке обслуживания моделей можно выделить каждой модели часть GPU вместо целого устройства. По описанию AWS, раздел получает фиксированную долю вычислительных ресурсов и собственную область видеопамяти; границы между разделами обеспечиваются аппаратно.
Возможность предназначена для обработки запросов в реальном времени через inference components — компоненты, позволяющие разместить несколько моделей на одной точке обслуживания и задать ресурсы каждой. Пользователь выбирает схему разделения при создании endpoint, а компоненту указывает нужный профиль. Настройкой GPU и размещением компонентов управляет SageMaker. Например, так можно совместно разместить небольшие модели классификации, поиска похожих текстов или ранжирования, которым не нужен целый ускоритель.
Поддерживаются семейства инстансов P4d, P5, G7 и G7e. Максимум зависит от GPU: для A100 и H100 доступно до семи разделов, для G7 — до двух, для G7e — до четырёх. Функция доступна в семи регионах AWS, включая Орегон, Франкфурт, Ирландию, Токио и Сингапур; наличие конкретного инстанса и квоту нужно проверять отдельно.
У разделения есть ограничения. Оно не работает с serverless-endpoint, обычными endpoint для одной модели и разнородными пулами инстансов; асинхронные запросы также не поддерживаются. Для смены схемы нужен новый endpoint с переносом трафика, а для смены профиля модели — новый компонент. Раздел не может объединять несколько GPU.
Оплата по-прежнему начисляется за инстанс целиком: отдельного тарифа на раздел нет. Аппаратное разделение GPU также не создаёт полной границы между клиентами: процессор, оперативная память, хранилище и сеть инстанса остаются общими.
