Ant Group и сообщество vLLM открыли исходный код Humming — библиотеки CUDA-ядер для инференса квантованных моделей. Она поддерживает плотные слои и смеси экспертов, различные целочисленные и низкоточные форматы весов и активаций, а также NVIDIA GPU начиная с архитектуры Turing. Заявлена и поддержка совместимого с CUDA ускорителя T-Head Zhenwu 810E.
Humming отделяет описание квантования от способа выполнения. Веса, масштабы и нулевые точки приводятся к общей форме, после чего библиотека учитывает размеры матриц, тип GEMM, целевой GPU и параметры вычислений. Ядро собирается из повторно используемых компонентов через NVRTC или NVCC и кэшируется. Для разных размеров входа Humming может подготовить несколько конфигураций и выбирать их во время выполнения; пока выбор опирается на эвристики, а автоматическую настройку разработчики относят к будущим планам.
Начиная с vLLM 0.29.0 Humming входит в CUDA-установки как зависимость. Бэкенд для плотных матричных операций и MoE выбирается параметрами --linear-backend humming и --moe-backend humming. Отдельный пакет humming-kernels можно установить через pip; для динамической компиляции нужен компилятор CUDA. Если GPU не поддерживает формат вычислений из контрольной точки, библиотека переходит к поддерживаемому формату более высокой точности.
Авторы приводят микроизмерения ядер на разных GPU, но их нельзя переносить на модель целиком. В отдельном тесте DeepSeek-V4.1-Flash на восьми H20 переход с Marlin W4A16 на Humming W4A8 повысил пропускную способность примерно на 14–43% и сократил среднее время до первого токена на 25–32% при параллелизме TP=8. Это сравнение команды проекта для конкретной модели, квантования, оборудования и уровней конкурентности, а не универсальное ускорение любого сервера vLLM.
