Участники открытого проекта llm-d объявили версию 1.0 распределённого стека для запуска языковых моделей в Kubernetes. Релиз сосредоточен на повседневной эксплуатации уже развёрнутых сервисов: стабильном API, работе нескольких арендаторов на общей инфраструктуре, обновлениях без перерыва и сохранении качества обслуживания при изменении нагрузки.
llm-d работает поверх движков инференса, включая vLLM и SGLang, и добавляет маршрутизацию и оркестрацию. Потоковое управление распределяет ресурсы между запросами с разными приоритетами. Для многошаговых агентов система старается направлять продолжение диалога на реплику, где уже хранится обработанный контекст. Это повышает вероятность повторного использования префиксного кеша. При нехватке памяти ускорителя KV-кеш можно переносить между GPU, CPU и хранилищем.
Технические приёмы появились до версии 1.0. Новым в релизе IBM называет их интеграцию и операционную зрелость, включая совместную работу при сбоях оборудования, обновлениях и конкурирующих нагрузках. Поэтому событие отличается от сентябрьской публикации IBM об эксперименте с GLM-5.2 на 544 ускорителях H100: та описывала отдельную конфигурацию и масштабный тест, а нынешний материал сообщает о выпуске стабильной версии стека.
IBM также приводит результаты других испытаний: 97% доступного повторного использования кеша в одной агентной задаче и оценку стоимости в 5–10 раз ниже для демонстрации с 3000 одновременно работающими агентами. Эти числа относятся к указанным тестам IBM и Red Hat и не являются гарантией для любой модели или инфраструктуры. llm-d размещён в Cloud Native Computing Foundation как sandbox-проект; ведущими сопровождающими IBM называет Red Hat, IBM и Google.
