AI Radar
Alibaba проверила AI-агентов для написания кода на задачах из реальной работы
Alibaba представила Co-Design Bench: лучший AI-агент для написания кода полностью решил 26,4% задач теста. В набор вошли реальные запросы пользователей, на которых агенты прежде испытывали трудности.
Co-Design Bench составлен из реальных пользовательских запросов, которые уже вызывали затруднения у AI-агентов для написания кода. Такой отбор делает тест особенно сложным: в него попадают известные проблемные случаи, а не случайная выборка всей работы программистов. Поэтому долю полностью решённых задач следует читать как результат именно на этом наборе.
Лучший результат в тесте получила GPT-6 Astra: она полностью решила 26,4% задач. На более старых бенчмарках те же модели набирают свыше 99%. Разброс показывает, насколько оценка зависит от состава заданий и критерия полного решения. Из опубликованного описания нельзя вывести, сколько времени разработчик потратит на исправления в каждом конкретном проекте.
Почему это важно
Компании решают, сколько работы отдать агентам, глядя на рейтинги, где модели упёрлись в потолок. Если на живых запросах три задачи из четырёх требуют доработки человеком, экономию от агентов придётся считать заново.
Мнение редакции
Мнение редакцииНабор собран из запросов, на которых агенты уже ошиблись, поэтому низкий результат отчасти заложен самим отбором. Сильная сторона такого подхода в обновляемости: если Alibaba будет пополнять бенчмарк свежими провалами, моделям будет сложно его выучить, в отличие от статичных наборов, которые они давно запомнили.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.