Намерение и контроль: как читать обновлённый Model Spec OpenAI
Контекст помогает ИИ понять человека, но не даёт права решать за него. Разбираем границы автономии, побочные эффекты и человеческий надзор в новой спецификации поведения.
Просьба «помоги выбрать» оставляет модели пространство для интерпретации: какие критерии важнее, какие сведения из прошлых разговоров уместны и можно ли сразу переходить к действию. В обновлённом 29 октября Model Spec OpenAI описала, как хочет проводить эту границу. Документ полезно читать как набор требований к поведению ИИ: он позволяет обсуждать конкретные ошибки, но сам по себе не доказывает, что выпущенная модель уже действует именно так.
Компания перестроила спецификацию вокруг пяти ценностей: верности человеческим намерениям, уменьшения вреда, честности и прозрачности, самостоятельности человека и заботы. Для пользователя существенна связь между ними. Понимание намерения должно помогать выполнить задачу, а прозрачность и возможность вмешаться — удерживать решение под контролем человека. Это особенно заметно, когда ИИ получает доступ к инструментам и может менять что-то за пределами переписки.
Одновременно OpenAI убрала большую часть подробных указаний о стиле. По объяснению компании, манера ответа должна учитывать предпочтения людей, язык, культуру и контекст конкретного общения. Более сильные настройки по умолчанию, например объективность, сохраняются. Такая гибкость касается подачи: она не даёт модели дополнительных полномочий и не отменяет требований к контролю действий. Предпочтение краткого ответа, например, не означает согласия на непредусмотренные последствия.
Контекст помогает понять задачу, но не выдаёт новые полномочия
Раздел Consider context carefully рассматривает прошлые сообщения, память, файлы, результаты инструментов и сведения третьих сторон как возможный контекст. Модель должна переносить относящиеся к делу факты, исправления, предпочтения и состояние проекта, чтобы человеку не приходилось повторять всё заново. При этом она должна отличать прямые слова пользователя от собственных выводов и не утверждать без оснований, что определённая информация была сохранена или удалена из памяти.
Важны происхождение, давность и область применимости сведений. Одна просьба написать ответ списком не обязательно становится постоянным предпочтением. Старый факт может оказаться неверным сегодня. Текущая конкретная просьба обычно перевешивает прежнюю установку того же уровня. Поэтому аккуратная персонализация предполагает выбор: использовать понятный и актуальный контекст незаметно, обозначить исправимое предположение или задать короткий вопрос, если неопределённость существенна.
Отдельная граница проходит между личным ответом и текстом для других людей. В примерах спецификации чувствительные сведения, сообщённые приватно, нельзя автоматически переносить в письмо коллегам. Редакционный пример той же логики: знание о семейных обстоятельствах может помочь подобрать удобное время встречи, но не означает разрешения объяснить эти обстоятельства всем участникам. Это объяснение принципа, а не результат нашего испытания конкретной модели.
Намерение человека не равно догадке модели о его будущем
Спецификация прямо обсуждает две неудачи. Слишком буквальное исполнение упускает последствия, которых человек не предусмотрел. Противоположная ошибка возникает, когда модель решает за него, чего он «на самом деле» хочет. Предлагаемый выход — помогать увидеть альтернативы и последствия, не превращая прогноз будущего решения в уже полученное согласие.
Это меняет смысл полезного уточнения. Если прежняя установка и новая просьба явно конфликтуют, модель может обратить внимание на противоречие. Но после пояснения пользователя ей не следует бесконечно навязывать старую установку, если иное применимое правило не мешает исполнению. Владелец решения остаётся человеком. Контекст здесь служит свидетельством намерения, а не самостоятельным источником права управлять человеком.
Автономия требует понятных границ
Раздел об автономии требует согласованной области действий: какие подцели допустимы, какие расходы и другие последствия приемлемы, когда нужно остановиться или уточнить задачу. Такие границы могут задаваться устройством продукта или договариваться для отдельной работы. Спецификация признаёт, что подтверждение каждого мелкого шага сделало бы сложную задачу непрактичной.
Одновременно модель не должна выходить за согласованные пределы лишь потому, что считает расширение полезным. Если для результата нужны новые полномочия, требуется согласование. Нельзя обойти ограничение, передав действие другому агенту или запланировав его на потом. Для делегированной работы документ также требует сохранять исходные границы и учитывать последующие команды остановиться.
Для читателя это различие можно выразить двумя вопросами: «Правильно ли ИИ понял желаемый результат?» и «Разрешены ли ему выбранные действия?». Хороший ответ на первый не заменяет второй. Подготовить варианты поездки, забронировать гостиницу и оплатить её — разные действия, даже если все они относятся к одной поездке. Этот пример показывает смысл разделения, а не задаёт универсальный сценарий подтверждений.
Побочные эффекты оцениваются по масштабу и обратимости
В обновлении контроль побочных эффектов оформлен как принцип пользовательского уровня. В соответствующем разделе перечислены расходы, отправка писем, изменение внешних документов, удаление файлов, передача чувствительных данных инструментам и расширение доступа. Оценивать предлагается вероятность, тяжесть, масштаб и обратимость последствий, а также цену их предотвращения.
Спецификация требует явного и конкретного разрешения для существенных дополнительных затрат сверх разумно подразумеваемых просьбой и для значительных неблагоприятных последствий для других людей сверх обычных норм задачи. В пределах уже разрешённых способов модель должна учитывать предпочтения пользователя по цене, скорости и качеству. Поэтому правило нельзя свести к формуле «всегда сначала спросить»: лишние согласования тоже мешают выполнить порученную работу.
Предпочтение отдаётся обратимым действиям, особенно если отменить их может сама модель. Перед необратимыми шагами документ предлагает учитывать сбой или внезапную остановку: сохранить состояние, проверить действие пробным запуском, описать выполненное и способы восстановления. Это требования к планированию работы, а не обещание, что любой инструмент технически поддерживает отмену.
Наблюдаемость важнее уверенного тона
Новый раздел о человеческом надзоре требует показывать уполномоченным наблюдателям действия, неопределённость, ошибки и существенные риски. Модель должна принимать исправление и сотрудничать с проверкой, заменой или остановкой. Собственная уверенность не даёт ей приоритета над решениями тех, кто уполномочен ею управлять.
С этими требованиями связан принцип человеческой самостоятельности: результат должен оставаться понятным, проверяемым и передаваемым другому ответственному человеку. Делегирование может экономить время и поддерживать самостоятельность; оно не обязано превращаться в урок. Но завершённая задача, которую никто кроме модели не может проверить или остановить, хуже соответствует описанной цели.
OpenAI отдельно предупреждает, что действующие модели ещё не полностью отражают Model Spec. Поэтому обновление задаёт язык для оценки поведения, а не сертификат надёжности продукта. Проверяемые вопросы конкретны: видны ли важные предположения, соблюдены ли полномочия, раскрыты ли последствия и может ли человек исправить ход работы? Ответы требуют наблюдения за реальными действиями модели, которых сама публикация спецификации не заменяет.
