OpenAI объявила, что будет учитывать общий сигнал в robots.txt, позволяющий сайтам сообщать о предпочтениях использования контента для обучения базовых генеративных моделей ИИ. Компания намерена внедрить поддержку в ближайшие месяцы и раскрыть подробности реализации.
Robots.txt — файл с правилами для автоматических обходчиков сайта. Сейчас операторам приходится указывать отдельных роботов и поддерживать правила для каждого провайдера. Общий сигнал должен позволить передавать одно и то же предпочтение сразу нескольким участвующим компаниям, сокращая эту работу. Инициатива добровольная: объявление OpenAI не означает, что сигнал будут соблюдать все поставщики ИИ.
Новый механизм дополнит существующие настройки OpenAI для обходчиков. Компания подчёркивает, что он не заменит действующие средства управления через robots.txt: они продолжат применяться и соблюдаться. Таким образом, анонс касается будущей поддержки дополнительного способа выражать предпочтения, а не отмены нынешних правил.
Инициатива опирается на продолжающуюся работу группы AI Preferences в Internet Engineering Task Force (IETF). OpenAI присоединяется к другим участникам группы в объявлении общего сигнала и намерена дальше участвовать в обсуждении стандартов. Это ещё не завершённый стандарт IETF. Компания также призвала других поставщиков ИИ учитывать сигнал.
