Amazon добавила в SageMaker AI списки предпочтительных инстансов для Training Jobs и Processing Jobs. Вместо одного типа вычислительной машины пользователь может передать упорядоченный список максимум из пяти вариантов. Планировщик проверяет их по приоритету и запускает задание на первом типе, для которого доступна требуемая ёмкость. Возможность рассчитана на нагрузки, способные работать на нескольких совместимых конфигурациях.
Если свободного варианта нет, задание переходит в событийную очередь и автоматически повторяет попытку. Общее время ожидания ограничивается параметром MaxPendingTimeInSeconds: он действует на весь список, а не отдельно на каждый инстанс. По описанию AWS, ограничение применяется только тогда, когда в списке есть хотя бы один ускоренный тип из семейств ml.p, ml.g или ml.trn; для исключительно процессорных конфигураций параметр не работает.
Для заданий обучения список можно совместить с Flexible Training Plans. Зарезервированную конфигурацию разрешено поставить первой, а следующие варианты оставить с оплатой по требованию. Если резерв недоступен, сервис перейдёт к следующей позиции. Processing Jobs такую интеграцию с Training Plans не поддерживают.
AWS отдельно предупреждает, что SageMaker не проверяет совместимость разных архитектур GPU, драйверов, контейнеров и EFA между выбранными типами. За это отвечает пользователь; при различной производительности также нужно самостоятельно подобрать число инстансов. Утверждения о более быстром старте заданий и лучшем использовании ресурсов принадлежат AWS: независимого сравнения или числового теста в публикации нет.
