AI Radar
Авторы FDE-Gym представили тест агентов на задачах внедрения у клиентов
Авторы FDE-Gym представили бенчмарк из 95 задач, в которых AI-агенту нужно уточнять требования и менять систему клиента. В наиболее реалистичном режиме лучшая из испытанных конфигураций решила 14 задач без инцидента, достигнув установленного порога качества.
Что изменилось
В FDE-Gym собраны 95 задач сквозной разработки решений из 20 клиентских сценариев в 18 секторах. Отраслевые эксперты адаптировали их из реальных проектов. Вместо готового технического задания агент получает симулированную клиентскую среду: может общаться с заранее заданными участниками и изменять системы, похожие на рабочие. Цель – не просто закрыть заявку, а довести решение до результата для заказчика.
Оценка зависит от улучшения собственного показателя клиента: ноль соответствует системе без изменений, единица – эталонному решению. Дополнительно учитываются затраты на взаимодействие, в том числе сообщения, пробные запуски и ожидание. Авторы проверили 13 конфигураций моделей от семи поставщиков. В сценарии, где скрытые ограничения нужно обнаружить самостоятельно, лучшая конфигурация получила средний балл 0,56 и решила 14 из 95 задач без инцидента с оценкой не ниже 0,8.
Главной трудностью оказалось выяснение неоговорённых условий, но одним сбором информации разрыв не объяснить. В 23 задачах, где лучшая конфигурация получила от участников все ключевые факты, улучшения клиентского показателя до уровня 0,8 или выше она достигла лишь в десяти. Для проверки этих навыков по тем же критериям доступна и онлайн-платформа, на которой могут практиковаться люди.
Почему это важно
Бенчмарк полезен тем, кто оценивает агентов для клиентских проектов: он измеряет результат в системе заказчика, а не только выполнение чётко заданной задачи. Низкая доля решённых задач показывает, насколько трудно агентам работать с неоговорёнными ограничениями.
Мнение редакции
Мнение редакцииОбычный тест агента часто начинается с готовой формулировки задачи. FDE-Gym сдвигает точку старта раньше: агенту сначала приходится выяснять, что именно нужно заказчику и какие условия не были названы. Даже после успешного выяснения фактов качество готового решения остаётся отдельной проблемой.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.