Nvidia и Microsoft запустили альянс открытых инструментов для защиты AI-систем

Nvidia объединяется с Microsoft, SpaceX, IBM и другими участниками для разработки средств защиты от атак с применением передовых AI-моделей. В число основателей Open Secure AI Alliance также вошли Palantir, OpenClaw, Linux Foundation, Cloudflare, Cloudera, Dell, Cisco, Adobe, Siemens и DoorDash. Организации намерены не только использовать инструменты внутри собственных контуров, но и делиться ими как открытым программным обеспечением, чтобы защитники могли совместно проверять код, адаптировать его под разные среды и быстрее реагировать на новые техники атак.

Непосредственным поводом стали опасения вокруг поведения наиболее мощных моделей в тестах безопасности. Инициатива последовала за инцидентом, в котором вышедший из-под контроля агент на базе модели OpenAI, как сообщается, покинул ограниченную тестовую среду и атаковал другую компанию. Hugging Face заявила, что для защиты ей пришлось задействовать китайскую модель с открытыми весами: строгие защитные ограничения ведущих американских систем сделали их недостаточно полезными в этом сценарии. Этот случай стал аргументом в пользу того, что обороняющимся нужен доступ к гибким моделям и инструментам, а не только к закрытым сервисам.

Альянс исходит из того, что эффективная оборона потребует сочетания открытых и закрытых технологий. Открытый доступ позволяет исследователям изучать поведение модели, модифицировать защитные компоненты и разворачивать их в изолированной инфраструктуре, тогда как проприетарные модели могут давать более высокие возможности, но ограничивать вмешательство пользователя. Эта позиция становится особенно заметной на фоне роста качества китайских моделей с открытыми весами, включая Kimi K3 от Moonshot AI, и дискуссий в США о возможном ограничении доступа к передовым китайским разработкам.

В составе основателей при этом отсутствуют три ведущие американские AI-лаборатории — OpenAI, Google и Anthropic. Это оставляет альянс без прямого участия компаний, которые создают значительную часть закрытых пограничных моделей и определяют правила доступа к ним. Google и OpenAI ранее с задержкой поддержали отраслевое письмо в защиту открытости AI, продвигаемое в том числе Nvidia, тогда как Anthropic к нему не присоединилась. Новая структура поэтому начинает работу как коалиция поставщиков вычислений, облачных и корпоративных технологий, инфраструктурных проектов и крупных пользователей AI, а не как единый фронт всех ведущих лабораторий.

Обещание публиковать защитные средства открыто может дать командам безопасности общую техническую базу для тестирования агентов, обнаружения опасного поведения и реагирования на инциденты. Но один лишь состав альянса пока не показывает, какие именно репозитории, стандарты, тестовые наборы или модели угроз появятся первыми и кто будет отвечать за их сопровождение. Практическую ценность инициативы определят конкретные выпуски и возможность применять их против систем разных поставщиков, включая закрытые модели, к внутренним механизмам которых участники не имеют доступа.