Исследователи MIT CSAIL поручили GPT-6 Astra изменить веса модели Qwen

В первых 96 пробных ответах Qwen3.5-0.8B модель 85 раз исчерпала лимит в 32 768 токенов. Она повторяла уже записанные шаги рассуждения и не доходила до итогового ответа. GPT-6 Astra получила доступ к весам, выходам и внутренним сигналам модели, а также к математическим задачам для проверки гипотез. Итоговые задания MATH-500 ей не показывали: сначала требовалось разобраться, почему Qwen застревает на тренировочных примерах для отладки.

Astra сопоставила сигналы при зацикливании и нормальном ходе рассуждения. Она выделила части MLP-блоков в 15-м и 19-м слоях и уменьшила в их весах компоненту, связанную с повторением. Патч затронул 131 072 числовых параметра – примерно 0,016% всех весов Qwen3.5-0.8B. Градиентное обучение команда не применяла: Astra исследовала работу сети и напрямую записывала новые значения. Исследователи называют такой подход Weight-Space Programming, то есть программированием через изменение весов модели.

После правки доля ответов, достигавших лимита вывода, снизилась с 93% до 33,1%. В том же эксперименте точность на MATH-500 выросла с 7,9% до 48,1%, на GSM8K – с 13,8% до 67,1%. Результат на IFEval, тесте следования инструкциям, поднялся с 21,0% до 62,3%. Связь между этими изменениями понятна: если модель успевает завершить ответ вместо очередного повторения, это помогает ей и за пределами математических задач. Эти цифры относятся к опубликованным экспериментам команды, а не к универсальному способу улучшить любую модель.

Поиск патча занял существенно больше времени, чем его применение. В попытке с лучшим результатом Astra провела 158 раундов диалога и 80 запусков Python за 20,3 часа, включая 4,7 часа ожидания из-за перерыва в работе сервиса. У неё был ограниченный бюджет вызовов Qwen для генерации ответов и просмотра внутренних сигналов. Поэтому отсутствие градиентного обучения здесь не означает, что модель можно исправить одной короткой командой: значительную часть работы составили диагностика и проверка изменений.

Команда проверяла и другие задачи на чтение и запись весов. Astra определила по параметрам небольших игровых сетей, в какие игры они обучены играть, а для застревавшего на склоне контроллера машинки предложила правку стратегии. В отдельном эксперименте она записала с нуля веса сети для Breakout. У метода есть и видимая граница: различить по одним лишь весам обычную и склонную соглашаться с пользователем версии Gemma 3 270M Astra с четырёх попыток не смогла; ей понадобились данные о работе моделей. Дальше исследователи планируют создать стандартизированный бенчмарк и среду для таких правок.