AWS опубликовала новый кодовый пример для развёртывания моделей решений через llama.cpp в Amazon SageMaker AI. Базовый путь использует готовый AWS Deep Learning Container: GGUF-модель помещается в артефакт SageMaker, а контейнер принимает запросы к OpenAI-совместимому Chat Completions API. Для такого варианта не требуется собственный Dockerfile; доступны CPU- и GPU-образы, но сам облачный endpoint остаётся платным ресурсом AWS.
Второй, необязательный путь добавляет адаптер SemIf в дочерний образ. Вместо свободного текста приложение передаёт описание состояния, вопрос и упорядоченный список допустимых вариантов. Ответ содержит их идентификаторы, вероятности и исходные логиты. AWS подчёркивает, что такие оценки нужно проверять на размеченных данных конкретного приложения и применять вместе с порогами и запасным сценарием. Модельное решение не заменяет авторизацию и детерминированные бизнес-правила.
В публикации приведён собственный тест AWS: 231 задача JevBench последовательно отправлялась на один CPU-endpoint и один GPU-endpoint с Qwen3.5-4B Q4_K_M. На ml.c6i.8xlarge медианная клиентская задержка составила 1,715 секунды, p95 — 19,291 секунды; на ml.g6e.xlarge с полным переносом слоёв на GPU — 0,352 и 0,599 секунды. Все 231 ответа были валидными. Точность отличалась лишь на один ответ: 77,5% против 77,9%.
Это измерения производителя для конкретной модели, квантизации, числа потоков и последовательной подачи запросов, а не гарантия SageMaker. CPU- и GPU-сборки дали разные прогнозы на шести сложных задачах; AWS прямо не считает эту разницу доказательством улучшения качества на GPU. SemIf также сериализует оценивание вокруг одного состояния llama.cpp, поэтому параллелизм нужно отдельно измерять и масштабировать числом endpoint-инстансов.
