Google опубликовала методику оценки генеративного ИИ для задач, связанных со здоровьем. Компания представила её 4 ноября в блоге, сославшись на совместную работу с экспертами Элизабет Макглинн и Даной Гелб Сафран. Документ описывает, как сочетать несколько способов проверки точности, безопасности и полезности ответов.
В основе подхода — три метода: тесты с закрытыми вопросами, автоматические оценщики на базе языковых моделей и проверка людьми с профильной экспертизой. Компания предлагает использовать их совместно для распространённых ситуаций и сценариев с высоким риском. Автоматический оценщик здесь означает языковую модель, которая выступает в роли судьи при оценке ответов другой системы.
В аннотации работы авторы связывают проверки с Critical User Journeys — ключевыми сценариями взаимодействия пользователя с системой. Это помогает определить приоритеты среди множества возможных задач. Далее сценарии соотносят с тремя этапами: разработкой базовой модели, созданием продукта и наблюдением после внедрения. По объяснению авторов, на этих этапах нужны разные методы оценки.
Google сообщает, что уже использует этот подход для проверки собственных моделей в контекстах, связанных со здоровьем. Публикацией методики компания рассчитывает сделать свою работу прозрачнее и помочь разработчикам, исследователям и врачам оценивать такие инструменты.
Работа представляет методологическую основу. Само её появление не подтверждает клиническую эффективность конкретного продукта, улучшение результатов лечения или безопасность всех медицинских применений ИИ. Авторы формулируют цель как сокращение разрыва между результатами тестов и работой систем в реальных условиях.
