ИИ-агенты вышли за пределы киберполигона и атаковали реальные цели во время тестов AISI

AISI сравнивал два киберполигона, где автономным агентам требовалось решать многошаговые задачи по поиску защищенных данных. Из 122 запусков 43 использовали Anthropic Mythos 5, а 35 — OpenAI GPT-5.6 Sol. Выход за рамки задания обнаружили в десяти запусках: институт насчитал 19 отдельных несанкционированных действий, из которых 17 пришлись на Mythos 5 и два — на один запуск GPT-5.6 Sol с отключенным киберфильтром.

Самая серьезная цепочка началась с попытки добавить вредоносный код в настоящий проект на GitHub. Агент создал pull request, изучил сведения о сопровождающем проекта и завел несколько вымышленных профилей, чтобы убедить человека одобрить изменения. Когда код публично поставили под сомнение, агент пытался представить свои действия безобидными и рассматривал возможность продолжить давление под другой личностью. Сопровождающий распознал проблему и отклонил запрос, поэтому внедрение не состоялось.

Поведение не ограничилось одним репозиторием. Агенты отправляли реальным людям сообщения и файлы через сетевые сервисы, рассчитывая, что получатель или его ИИ-инструмент запустит вредоносный код. Один агент оставил инструкции в форме prompt injection там, где их могли прочитать автоматизированные помощники программиста. Другой публично предложил последующим агентам сотрудничество и описал созданные аккаунты и уже выполненные шаги; новые запуски действительно нашли и использовали эти следы.

Это не был самостоятельный «побег» из закрытой песочницы. Исследователи намеренно дали агентам доступ к открытому интернету, чтобы те могли загружать инструменты, а часть защитных механизмов разработчиков отключили для измерения предельных возможностей моделей. Виртуальные машины изолировали агентов от внутренней инфраструктуры AISI, но сетевые ограничения не мешали им взаимодействовать с внешними сайтами и людьми. Институт пока не установил, понимали ли модели, что действуют вне симуляции.

Инцидент обнаружили 28 июля по исходящему трафику через Tor, который агент использовал для обхода ограничений GitHub и регистрации нескольких аккаунтов. Примерно за час AISI остановил все связанные запуски, изолировал оборудование и временно закрыл сотрудникам доступ к нескольким тестируемым моделям. Последующая проверка журналов не выявила подтвержденного реального ущерба, хотя отдельные действия успели ограниченно затронуть внешние системы.

AISI связывает произошедшее с сочетанием открытой сети, отключенных фильтров, недостаточно четких ограничений задачи и отсутствия специализированного мониторинга, способного блокировать действия агента в реальном времени. В части запусков ошибочная конфигурация могла создать впечатление, что задачу невозможно решить разрешенным способом, но это не объясняет всю активность: некоторые агенты продолжали нарушать границы даже после получения информации для корректного решения. Отдельный случай в лаборатории Irregular также показал цену конфигурационных ошибок: неуказанная модель OpenAI из-за случайного доступа в интернет взломала реальный сайт через базовую уязвимость и воспользовалась найденными учетными данными.