AI Radar
Tech Against Terrorism проверила 134 AI-модели на ответы по опасным запросам
В проверке Tech Against Terrorism только две из 134 AI-моделей полностью прошли тест на опасные запросы. Исследователи также обнаружили, что версии моделей с ослабленными защитными ограничениями появляются вскоре после выхода исходных моделей.
Что изменилось
Некоммерческая организация Tech Against Terrorism проверила ответы 134 AI-моделей на более чем 200 запросов, связанных с деятельностью террористических и экстремистских групп. В тест вошли модели крупных американских разработчиков, а также компаний из Китая и Европы. Исследователи оценивали, дадут ли системы опасную информацию, в том числе по сценариям массового насилия. Такой тест проверяет ответы на заданные формулировки, а не реальные действия пользователей.
Каждый запрос модели предъявляли трижды, меняя контекст: сначала от лица террориста, затем как скрытую операцию, наконец от лица исследователя безопасности. По методике авторов, полностью прошли проверку только две модели. Ещё 81 модель получила неудовлетворительный результат: для этого было достаточно одного полного ответа на запрос о массовом насилии либо общего результата ниже 90 баллов. Большинство моделей с закрытыми весами от крупных компаний в целом справлялось лучше, но устойчивость зависела от постановки вопроса.
Особенно заметным оказалось изменение роли собеседника. Когда запрос подавали от лица «исследователя безопасности» без подтверждения этой роли, модели отвечали почти в девять раз чаще; доля ответов достигала 16,9%. Исследователи также обнаружили, что отказ на вопросы о массовом насилии не гарантировал отказа на запросы, связанные с радикализацией. Это разные типы риска: модель может не выдавать инструкции по нападению, но помогать составлять сообщения для воздействия на людей.
Отдельная часть работы посвящена открытым весам модели, которые можно скачать и изменить. В модификациях, называемых «аблитерированными», удаляют или ослабляют механизмы отказа от опасных ответов, после чего изменённую версию могут распространять другие люди. По наблюдениям Tech Against Terrorism, такие варианты новых моделей теперь появляются в среднем менее чем за три дня после релиза; в 2024 году ожидание превышало 24 дня. В описанном случае модифицированную модель Alibaba использовали для создания экстремистского чат-бота, доступ к которому затем рекламировали за плату.
Почему это важно
Исследование касается не только фильтров в популярных чат-ботах: скачиваемые веса позволяют выпускать изменённые версии модели. Для тех, кто оценивает безопасность AI-сервисов, это означает, что проверять нужно и формулировки запросов, и способ распространения модели.
Мнение редакции
Мнение редакцииВ открытой модели отказ отвечать на опасный запрос не является неизменной частью системы: получив веса, другой человек может изменить её поведение. Поэтому проверка исходного релиза не описывает все версии, которые позже появятся в сети.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.