Hugging Face представила Idefics2 — мультимодальную модель, принимающую последовательности текста и изображений и возвращающую текстовый ответ. Она предназначалась для вопросов по фотографиям, описания визуального содержимого, извлечения сведений из документов и простых вычислений. Размер модели составил восемь миллиардов параметров.
Команда выпустила Idefics2 под лицензией Apache 2.0 и включила поддержку в Transformers. Среди изменений были работа с исходными пропорциями изображений и дополнительное обучение распознаванию текста, диаграмм и таблиц. Вместе с моделью авторы представили The Cauldron — сборник из 50 подготовленных наборов данных для настройки мультимодальных диалогов. Публикация содержала примеры запуска и адаптации, позволяя разработчикам перенести модель на конкретные задачи обработки документов.
