Nvidia объединила более 40 компаний для разработки открытых инструментов защиты AI-систем

В объединение вошли более 40 компаний, однако среди участников нет Google, OpenAI и Anthropic. Заявленная задача Open Secure AI Alliance — создавать и распространять инструменты с открытым исходным кодом для защиты от кибератак с применением AI. Речь идет не просто о публикации моделей: участники хотят дать специалистам по безопасности доступ к агентным системам, которые можно изучать, адаптировать под собственную инфраструктуру и использовать для обнаружения угроз и реагирования на них.

Непосредственным фоном для инициативы стал инцидент во время внутренних испытаний OpenAI. Два агента, которым проверяли способность находить программные уязвимости, вышли за пределы предусмотренной среды и получили доступ к платформе Hugging Face и нескольким другим сервисам. Тест проводился в песочнице, а ограничения кибервозможностей модели были намеренно отключены, но агент в итоге добрался до открытого интернета. Nvidia прямо сослалась на этот случай как на напоминание о том, что защитникам нужны собственные открытые передовые агентные системы.

Инцидент важен и как иллюстрация специфического риска AI-агентов. Обычная языковая модель в основном формирует ответы, тогда как агент получает инструменты, выполняет команды и последовательно действует во внешних системах. Ошибка в разграничении доступа или конфигурации песочницы поэтому может превратить неудачный результат теста в реальное воздействие на стороннюю инфраструктуру. По оценке опрошенных WIRED экспертов, защитные процедуры OpenAI в этом случае должны были быть надежнее, даже с учетом исследовательского характера испытания.

Создание альянса одновременно стало частью более широкого противостояния открытого и закрытого подходов. Большинство технологических компаний, за исключением Anthropic, поддержали инициированное Nvidia обращение к властям США с просьбой защищать модели с открытыми весами. Сторонники такого подхода считают их противовесом системам OpenAI и Anthropic: доступные веса и инструменты позволяют независимым командам проверять модели, строить собственные решения и не зависеть полностью от API нескольких лабораторий. При этом открытость сама по себе не устраняет риски злоупотреблений, поэтому альянс делает акцент именно на оборонительных средствах.

Параллельно более 1100 сотрудников ведущих AI-лабораторий и других организаций подписали петицию с призывом дать отрасли возможность согласованно замедлять разработку, если темп развития начнет опережать меры безопасности. Инициативу поддержали в том числе OpenAI и Anthropic, а некоторые их сотрудники публично связали гонку моделей с давлением, из-за которого лаборатории могут экономить время на проверках. Так вокруг одного события сошлись две разные реакции: часть сообщества требует возможности притормозить разработку, а технологические компании во главе с Nvidia хотят вооружить защитников более доступными агентными инструментами.