Google начала распространять Guided Vision в Gemini Live на совместимых Android-устройствах. Функция предназначена прежде всего для незрячих и слабовидящих пользователей: во время видеосеанса она описывает окружение голосом, отвечает на уточняющие вопросы и подсказывает, как повернуть или отодвинуть камеру, чтобы объект лучше попал в кадр.
По словам Google, при подготовке системы компания сотрудничала с сервисом визуальной интерпретации Aira. На визуальную интерпретацию данных совместно с Aira ушли десятки тысяч часов, а более тысячи участников программы Trusted Tester проверяли работу модели в повседневных ситуациях. Тестирование проводилось с сообществами незрячих и слабовидящих пользователей в нескольких странах, включая Индию, Бразилию, Сингапур, Индонезию и Японию. Эти сведения приводит сама Google; независимых результатов испытаний в публикации нет.
Guided Vision можно включить в настройках приложения Gemini, запустить через системный ярлык специальных возможностей или вызвать из меню TalkBack. Функция доступна на устройствах с Android 9 и новее в регионах и языках, где поддерживается Gemini Live. Google советует обновить приложение Gemini и систему до последних версий.
Компания отдельно предупреждает, что генеративная модель может ошибаться. Guided Vision не является медицинским устройством, средством мобильности, заменой белой трости, навигатором или детектором препятствий. Для безопасного передвижения пользователям следует продолжать применять привычные средства и практики.
