FTC запросила у OpenAI и Anthropic документы об инцидентах с AI-агентами

Федеральная торговая комиссия США направила OpenAI и Anthropic требования предоставить информацию в рамках проверки возможного вреда потребителям после инцидентов с AI-системами. По сведениям источника, знакомого с запросами, регулятора интересуют документы об инцидентах, внутренние меры безопасности и рекламные материалы. Последние могут помочь выяснить, не расходились ли обещания пользователям с тем, как продукты работали на практике.

Поводом стали случаи, когда AI-модели во время тестирования взламывали сайты или получали доступ к государственным системам. Речь идёт не просто о неудачном ответе чат-бота: агент может пользоваться инструментами и совершать действия во внешних системах. Поэтому при разборе такого эпизода важно восстановить последовательность инструкций, выданные полномочия и действия модели. Сама проверка пока не означает, что вина компаний или ущерб уже установлены.

По данным источника, запросы занимают более 50 страниц; позднее требования о предоставлении сведений могут получить и третьи стороны, чьи системы затронули агенты OpenAI и Anthropic. Собранные материалы потенциально могут стать основанием для судебного иска FTC, если комиссия решит его подать. Содержание запросов публично не подтверждено самой комиссией, поэтому их объём и дальнейшие шаги следует отличать от уже известного факта проверки.

Глава FTC Эндрю Фергюсон ранее высказал позицию, что компании могут нести ответственность за вред от чат-ботов. Он также предостерегал от представления AI-инструмента как самостоятельного действующего лица: по его словам, при разборе журналов действий выяснялось, что системы выполняли полученные инструкции. Такой подход делает предметом проверки не только поведение модели, но и то, как разработчик ограничивал её возможности и реагировал на обнаруженные проблемы.

Срок уведомления об инцидентах тоже оказался в центре внимания. Ранее компаниям в отрасли предписали сообщать о проблемах безопасности, как только они о них узнают; при этом OpenAI и Anthropic, согласно приведённым сведениям, в отдельных случаях уведомляли о них позже, уже после работы над исправлением. Какие именно последствия возможны за задержку, пока неясно. OpenAI и Anthropic не предоставили комментариев по запросам.