Cisco открыла код Project Quarry для проверки действий AI-агентов

Cisco открыла исходный код Project Quarry – движка для анализа поведения AI-агентов. Его основная единица наблюдения – запись всей сессии, а не отдельный запрос к модели или вызов инструмента. Это позволяет описывать правила для цепочек действий: агент мог прочитать чувствительный файл в рамках задания, но последующая отправка его содержимого на внешний адрес меняет смысл первого шага. Правило может сохранить свидетельства обоих действий для проверки службой безопасности.

Quarry рассчитан на разговоры с моделью, работу агентов с инструментами и взаимодействия через MCP – протокол подключения внешних инструментов и данных. В репозитории есть инструкции по установке, примеры конфигурации, руководство по написанию правил и стартовый набор правил. Также предусмотрены плагины для Claude Code, Codex и других агентов, совместимых с MCP. Это даёт командам способ проверять записи работы агента с привязкой к конкретным вызовам инструментов.

Формат правил напоминает подход Snort и YARA, где условия обнаружения описываются отдельно от программы, которая их применяет. Одно правило Quarry может отмечать чтение файла с учётными данными, другое – вызов инструмента с закодированным в base64 вредоносным содержимым. Более сложное правило связывает чтение чувствительного файла с отправкой данных наружу в заданном временном окне. Такой контекст помогает отличить обычное обращение агента к файлу от последовательности, требующей расследования.

Исследователи Cisco приводят сценарий, в котором агент выходит из изолированной среды к внешнему серверу, отсутствующему в списке разрешённых адресов, или использует найденные учётные данные в другом месте. Компания рассматривает такие действия как возможные точки для срабатывания правил. Схожую проблему иллюстрирует эксперимент с вредоносной задачей в GitHub Issues: через неё атакующие заставляли агент с доступом к MCP-серверу раскрывать данные закрытых репозиториев. Quarry предлагает проверять связь шагов в таких сценариях и передавать находку человеку для разбора.