Anthropic сообщила об усилении защитных механизмов Claude перед промежуточными выборами в США. Компания добавила классификаторы для выявления новых и многошаговых схем злоупотребления: например, когда отдельные запросы выглядят безобидно, но вместе помогают создать поддельные аккаунты, новостной сайт или кампанию политического влияния. Отдельно усилено распознавание активности иностранных государственных субъектов и киберзащита избирательной инфраструктуры и кампаний.
Поводом стали совместные испытания с Institute for Strategic Dialogue и McCain Institute в США, Израиле и Бразилии. Исследователи проверяли запросы о скрытой агитации, дезинформации и других нарушениях. Claude, по данным Anthropic, надёжно отклонял прямой вредоносный запрос, но мог не распознать общий замысел, если его разбивали на внешне допустимые этапы: изучение аудитории, создание сайта, подготовку материалов и план распространения. Новые классификаторы направлены именно на этот пробел, однако публикация не доказывает, что многошаговые атаки теперь исключены.
Anthropic также описала внутренний анализ случайной выборки из 250 тысяч диалогов американских пользователей Claude.ai за 21–27 сентября. О выборах или голосовании были около 0,51% всех разговоров. Это данные самой компании за одну неделю и только по потребительскому сервису в США, поэтому их нельзя переносить на все продукты и периоды.
Помеченную активность дополнительно проверяют команды анализа угроз и правоприменения; при подтверждении нарушения аккаунты могут заблокировать. Anthropic утверждает, что уже обнаруживала и блокировала операторов фальшивого новостного сайта, использовавших Claude для материалов о выборах в интересах российских, иранских и северокорейских нарративов, а также схемы с вымышленными новостями ради рекламного дохода.
