METR оценила ускорение разработки моделей Anthropic при помощи AI

METR провела 11 недель, изучая внутренние исследовательские данные Anthropic, и оценила ускорение разработки моделей. По её расчётам, с октября 2025 года темп роста показателя возможностей моделей Anthropic стал примерно в 1,9 раза выше прежнего. Исследователи связывают около 80% этого ускорения с применением AI в работе над следующими моделями. Это оценка вклада в общий прирост скорости, а не утверждение, что AI самостоятельно выполнил 80% исследований.

Один из ориентиров METR – AECI, составной индекс Anthropic, который объединяет результаты моделей на нескольких тестах. В материалах оценки фигурируют три внутренние модели, завершившие обучение в июле, августе–сентябре и сентябре–октябре. Самая сильная из них, Model 4, получила 178,6 балла AECI, примерно на 3,9 балла выше Opus 5.5. Такое сравнение описывает положение моделей на выбранных тестах; оно не заменяет проверку их работы на любой конкретной задаче.

В интервью для оценки сотрудники Anthropic описали, как Claude меняет исследовательский цикл. Один из них оценил сокращение времени от идеи до запуска эксперимента примерно в 80%. Другие рассказали, что с Claude и агентными инструментами могут одновременно проверять больше подходов. METR считает основным источником ускорения именно такую работу AI вместе с исследователями: полностью автономная разработка пока не стала главным вкладом в общий прогресс.

Долю работы с моделями Anthropic пыталась измерять и внутри компании. Согласно опубликованной ею ранее оценке, к августу Claude при человеческом контроле вёл 26% работ по разработке моделей против менее 1% примерно за полгода до этого. Эта метрика описывает участие Claude в задачах команды, тогда как расчёт METR касается изменения темпа улучшения моделей. Смешивать два процента нельзя: они отвечают на разные вопросы о процессе исследований.

У публичной проверки есть существенное ограничение: Anthropic скрыла в опубликованных материалах часть данных, на которых основан анализ. Сооснователь компании Сэм Маккэндлиш признал, что это затрудняет независимую проверку, и объяснил изъятия коммерческой чувствительностью сведений и риском раскрыть другим компаниям детали ускорения исследований. Поэтому вывод METR о возможном пересечении собственного предупредительного порога Anthropic ещё в июле приходится оценивать с учётом недоступных данных. Компания обещает отдельно рассказать, как соотносит темп разработок со своей политикой безопасности.