OpenAI 2 ноября представила LifeVal — систему оценки того, как ИИ справляется с повседневными задачами личного помощника. Компания сообщает, что за последний год использовала её для отслеживания и улучшения моделей. Новая публикация описывает подход к проверке практических действий: от поиска детского сада до подбора жилья.
Основой для выбора задач стали American Time Use Survey и Multinational Time Use Study — исследования того, как люди распределяют время. OpenAI дополнила их демографически репрезентативным опросом 3995 респондентов, чтобы выяснить, в каких делах помощь ИИ наиболее востребована. Получившийся набор охватывает уход за близкими, здоровье, образование, домашние дела, личные финансы, покупки и государственные услуги.
В примерах помощник сравнивает детские сады рядом с новым домом и собирает сведения о зачислении. Другой сценарий требует найти семейное жильё с учётом бюджета, отдельного жилого помещения и маршрута после отвоза ребёнка в школу. Так LifeVal проверяет работу с несколькими условиями внутри одной бытовой задачи.
OpenAI приводит таблицу лучших зафиксированных результатов GPT-6 Astra по отдельным заданиям; у ряда задач указано 100%. Это не средняя оценка всего набора и не независимое подтверждение безошибочности помощника. Публикация связывает прогресс с обучением работе в браузере, на компьютере и через подключённые сервисы. О новой функции ChatGPT или открытом выпуске датасета и кода в ней не объявляется.
