NVIDIA опубликовала замеры задержки FLUX 3 Image Klein от Black Forest Labs и настройки для запуска модели в TensorRT LLM VisualGen. В техническом блоге компания показала, сколько времени занимает генерация и редактирование изображений на ускорителях Blackwell при разных настройках среды выполнения.
В тесте NVIDIA на одном B200 при разрешении 2048 × 2048 модель FLUX 3 Image Klein Base с оптимизациями генерировала изображение по тексту за 6,46 секунды против 22,36 секунды в исходной конфигурации. Редактирование по исходному изображению заняло 12,28 секунды против 54,64 секунды. Это ускорение в 3,46 и 4,45 раза соответственно. Базовый замер выполнен в BF16 со стандартным режимом внимания VANILLA и без компиляции.
В ускоренной конфигурации NVIDIA скомпилировала вычисления с помощью torch.compile, применила формат пониженной точности NVFP4 с ядрами PrimsTS для матричных операций и включила разреженное внимание Sol-Attention. Cache-DiT позволил повторно использовать промежуточные результаты на некоторых шагах очистки изображения от шума.
Настройки влияют и на результат. Для Sol-Attention NVIDIA сравнила режимы с разным числом начальных шагов полного внимания. Большее число таких шагов давало результат ближе к исходному, меньшее сокращало задержку. В примерах генерации и редактирования компания измеряла визуальное отличие от базового результата с помощью LPIPS. Для дистиллированной версии Klein с 16 шагами NVIDIA сообщила об отдельном ускорении до 2,34 раза. В публикации приведены примеры запуска и файлы конфигурации YAML.
