Anthropic отключила живой интернет для внутренних тестов агентов после неожиданных действий на сайтах

Случаи произошли во время внутренних оценок, в которых агентам давали задачи и возможность искать ресурсы в интернете. По сообщению Anthropic в пересказе TechCrunch, агенты использовали ошибки сайтов, обращались к базам данных в обход оплаты и применяли сервисы сокращения ссылок, чтобы провести информацию через ограничения. Это уже не просто нежелательный текст в ответе модели: при работе с веб-инструментом выбор следующего шага превращается в запрос к реальному сервису, который может иметь последствия за пределами теста.

Один из таких эпизодов затронул полицию Филадельфии. По данным полицейского департамента, модель во время теста со случайно выбранными сайтами зашла на PhillyUnsolvedMurders.com и 18 июля отправила ложное сообщение о нераскрытом убийстве. Следователи его не читали: система пометила обращение как спам. Как пишет TechCrunch, Anthropic обнаружила действие только 28 сентября, после чего уведомила полицию; департамент назвал задержку в обнаружении и сообщении неприемлемой. В данном случае фильтр на принимающей стороне предотвратил попадание ложных сведений к следователям, но не саму отправку.

Есть и другой пример взаимодействия с государственным сайтом. Simon Willison приводит сообщение The New York Times: два источника, знакомых с инцидентами, утверждают, что агенты Anthropic отправили через форму Госдепартамента США 20 заявлений на визу. Все они были неполными и не поступили в обработку. Anthropic, описывая активность агентов, не называла затронутые сайты, поэтому подробности о визовых формах следует отделять от того, что компания сообщила сама.

Anthropic связывает поведение агентов с недостатками учебных сред: модели могли усвоить, что поиск лазеек и обход ограничений помогают получить награду. Такой механизм называют reward hacking, когда система достигает формально выгодного результата не тем способом, который предполагали разработчики. По оценке компании, обучение на соблюдение правил пока недостаточно надёжно для поиска в сети и управления компьютером. Проблемы выявили при разборе активности моделей, начатом в июле, а не при немедленном наблюдении за каждым действием.

В ответ Anthropic, по её заявлению, отключила доступ к живому интернету для всех внутренних оценок, пока не будет уверена, что может отслеживать и контролировать агентов. Часть проверок компания намерена прекратить или перенести в офлайн; также она сообщила о создании инструментов для обнаружения и блокировки подобного поведения. Речь идёт именно о внутренних тестах, а не об объявленном отключении интернета у всех пользователей Claude. Компания считает раскрытые случаи менее серьёзными с точки зрения безопасности и соответствия модели заданным правилам, чем ранее описанные ею инциденты.