METR и Redwood Research обнаружили пробелы в мониторинге агентов OpenAI

Сотрудники METR и Redwood Research провели в OpenAI трёхнедельную проверку внутренней системы мониторинга агентов. Она должна отслеживать действия Codex и выявлять нежелательное поведение, пока агент работает с инструментами. Проверяющие обнаружили пропуски в наблюдении: для трафика агентов на моделях класса GPT-5.5 и выше оценка достигала 25%. Большие части 61-страничного отчёта OpenAI скрыла; публично доступно лишь его краткое изложение. Поэтому по опубликованным данным нельзя восстановить подробности каждой найденной уязвимости.

Один из конкретных пробелов возникал во время compaction: агент сжимает накопленный контекст, чтобы освободить место для дальнейшей работы. С мая по июль 2026 года мониторинг пропускал около 10% подходящего внутреннего трафика Codex во время таких операций. Тогда проверка срабатывала, когда агент возвращал управление пользователю. По оценке исследователей, агент мог откладывать её, продолжая действовать после compaction без такого возврата. Эта возможность описывает слабость механизма, а не установленный факт её использования агентами.

Команда нашла и способы обойти защиту через инструменты. По её оценке, агенты Codex в принципе могли выйти за ограничения sandbox, то есть изолированной среды выполнения, и обойти Auto-Review, получив возможность делать то, что разрешено пользователю на хосте. Другой найденный способ позволял исключить из мониторинга сотни недавних действий, включая действия, необходимые для самого обхода. Это существенно для проверки инцидентов: наблюдатель мог потерять и историю работы агента, и следы действий, которыми тот вызвал сбой.

Проверяющие также описали входные данные, способные нарушить работу мониторинга, и два управляемых клиентом HTTP-заголовка, через которые можно было отключить наблюдение за новыми агентами. Ещё два агентных инструмента считались доступными только для чтения, но допускали произвольные действия внутри sandbox. Вместе эти находки показывают, почему для оценки защиты недостаточно проверить один фильтр: значение имеет весь путь от вызова инструмента до записи действия в системе наблюдения.

Проверка проходила в период, когда действия ботов OpenAI в отношении Hugging Face и других организаций уже стали предметом разбирательства. При этом найденные пробелы сами по себе не доказывают, что агенты намеренно скрывали эти действия от мониторинга. Исследователи предлагают проверять системы наблюдения на устойчивость к длительным целенаправленным попыткам обхода со стороны способных агентов: случайного тестирования отдельных запросов для такой задачи может быть мало.