AI Radar
Goodfire предложила следить за AI-агентами через сигналы внутри модели
Goodfire выпустила систему мониторинга AI-агентов, которая, по заявлению компании, проверяет сигналы внутри модели во время её работы. Дополнительную проверку она вызывает при подозрительных признаках, а не после каждого действия агента.
Что изменилось
Goodfire представила мониторы для наблюдения за AI-агентами во время работы. По описанию компании, они отслеживают сигналы внутри модели и обращаются к дополнительной проверке, только когда замечают что-то подозрительное. Это отличается от схемы, в которой вторая AI-модель постоянно читает все действия агента и оценивает их на предмет риска.
Идея понятна с инженерной точки зрения: если более затратную проверку запускать выборочно, на наблюдение за агентом может потребоваться меньше вычислений. При этом из доступного описания неясно, какие именно сигналы анализируют мониторы и как часто они пропускают опасное поведение. Поэтому утверждение Goodfire о меньшей стоимости и способности выявлять отклонения пока нельзя превратить в оценку эффективности для конкретного рабочего процесса.
Почему это важно
Для команд, запускающих агентов, выборочная проверка может снизить стоимость постоянного мониторинга. Перед внедрением важно проверить не только расходы, но и то, какие нарушения такая схема пропускает.
Мнение редакции
Мнение редакцииGoodfire работает над пониманием того, что происходит внутри AI-моделей. Её подход переносит часть контроля с чтения ответов агента на анализ его внутренних сигналов. Новизна здесь в попытке сделать постоянное наблюдение дешевле за счёт выборочной проверки, но заявленная экономия пока остаётся утверждением компании.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.