AWS добавила поддержку SOCI-индексов в задания обучения и обработки данных Amazon SageMaker AI. Сервис может запускать контейнер до завершения загрузки всего образа: сначала получает необходимые для старта файлы, остальные подгружает по мере обращения к ним. Изменение доступно во всех регионах AWS.
В основе — существующая открытая технология Seekable OCI. Новость касается её интеграции с SageMaker AI. Индекс хранится отдельно от образа в приватном репозитории Amazon ECR и не меняет его контрольную сумму или подписи. SageMaker автоматически обнаруживает индекс; если прочитать его или выполнить отложенную загрузку не удаётся, задание возвращается к обычному скачиванию.
В собственных тестах AWS сравнила восемь образов размером от 1,8 до 35,4 ГБ в сжатом виде на CPU- и GPU-инстансах в двух регионах США. Подготовка контейнера при отложенной загрузке занимала 3–11 секунд; обычное скачивание самого большого образа — 7 минут 17 секунд. Компания приводит медианы повторных запусков.
Это сокращение ожидания перед работой, а не ускорение самого обучения. В двух проверенных нагрузках первая эпоха обучения занимала на 3–16 секунд больше из-за подгрузки файлов. Начиная со второй, время эпохи совпадало в пределах разброса запусков; целое задание завершалось на 1–6 минут раньше.
Для подключения можно выбрать готовый AWS Deep Learning Container с суффиксом -soci или создать индекс собственного образа. Изменять API-вызовы не требуется. Поддерживаются только приватные репозитории ECR. Для образов меньше примерно 4 ГБ выигрыш, по оценке AWS, относительно невелик; если код сразу читает большую часть образа, преимущество также сокращается. Совместимость скриптов, зависящих от Docker, нужно проверить: используется среда containerd.
