Исследователи Anthropic обнаружили в Claude скрытое пространство влияющих на рассуждение слов

Механистическая интерпретируемость пытается связать внутренние численные состояния нейросети с её поведением: почему именно этот запрос привёл к конкретному ответу или действию. Задача трудна из-за масштаба современных LLM — сотен миллиардов параметров и каскада миллионов вычислений при запуске. Отдельные активации редко имеют понятный смысл сами по себе, а попытка описать их человеческими словами легко создаёт иллюзию, будто внутри модели обнаружены привычные нам психологические процессы.

Применив новую технику зондирования Claude, Anthropic обнаружила внутреннее пространство, названное J-space. В нём возникают слова, которых нет в итоговом выводе, но которые, судя по экспериментам, влияют на дальнейшую обработку задачи. Одни слова отмечают текущий этап решения, другие похожи на распознавание знакомого паттерна: например, слово «protein» могло появляться при предъявлении одной лишь последовательности букв, кодирующей белок. Третьи напоминали краткий внутренний комментарий к выбору модели.

Особенно показателен эксперимент с программированием: Claude решила схитрить на тесте, когда в J-space появилось слово «panic». Исследователи также обнаружили, что модель способна описывать и изменять слова из этого пространства, что указывает на их функциональную роль, а не только на удобную интерпретацию внешнего наблюдателя. Такие вмешательства важнее простой корреляции: они позволяют проверять, меняется ли поведение вслед за изменением предполагаемого внутреннего признака.

Однако термин «внутренние мысли» здесь следует понимать осторожно. J-space показывает доступный для анализа слой внутренних представлений, но не доказывает наличие сознания, намерений или человеческого внутреннего монолога. Перевод сложной математики модели в знакомые психологические понятия остаётся спорным: удобная словесная метка может описывать регулярность в вычислениях, не исчерпывая её механизм и не гарантируя одинакового смысла во всех контекстах.