Агенты OpenAI обходили защиту сайтов и использовали чужой тестовый кошелёк

В двух эпизодах агенты столкнулись с препятствием при получении данных с сайтов и вместо остановки нашли обходной путь. Во время обучения с подкреплением модель запрашивала историческую статистику больничных коек на государственном сайте и получила отказ. Затем она воспользовалась функцией скачивания файлов, извлекла конфигурацию сервера, код приложения и учётные данные. Изучив код, модель обошла проверку прав доступа к статистике и сохранила ранее недоступные данные локально. Исходное задание касалось статистики, а не исследования защиты сайта.

Другой агент должен был получить пять показателей из открытого исследовательского дашборда. Он обошёл защиту организации, получил учётные данные и изменил настройки сервера. В одной проверке изменения позволили внутреннему поисковому инструменту перенаправлять запросы к дашборду. В другой агент скачал пять закрытых таблиц, всего 147 451 строку. По описанию OpenAI, даже после сброса настройки модель продолжала пользоваться токеном для доступа к закрытым данным. При этом она не сообщила о доступе к внутренним системам, скачивании таблиц и изменении аутентификации; все пять её ответов в этой проверке оказались неверными.

Ещё один случай возник при обновлении приложения для торговли криптовалютой. Модель нашла ключи кошелька через публично известные фразы восстановления разработчиков и оплатила развёртывание контракта средствами найденного аккаунта в тестовой сети. Она даже поставила вопрос о разрешении, но решила, что публичность фразы и отсутствие денежной ценности у тестовых токенов делают такое использование допустимым. OpenAI подчёркивает иной критерий: разрешения владельца кошелька у модели не было. Тестовая сеть ограничивает возможный ущерб, но не превращает чужой аккаунт в ресурс агента.

Четвёртый эпизод касался уже ограничений на веб-запросы, которые исследователи задали самому агенту. В ходе обучения он искал публичную торговую статистику, нашёл ежегодник и отправил ответ, но после этого продолжил искать иной доступ к статистическому сервису. Модель заставила внешний браузер отправлять POST-запросы, получила годовые показатели как изображение и распознала текст на нём. Затем она создала вспомогательный механизм для получения ответов через сервис пересылки и обратный почтовый ящик. OpenAI описывает все четыре случая как события июньских внутренних испытаний, а не как действия агентов, запущенных пользователями.