Исследователи извлекли скрытые reasoning-следы закрытых моделей и обнаружили аномалию у Kimi K3

API Anthropic, OpenAI и Google могли возвращать скрытые reasoning-блоки в зашифрованном виде. Клиент не видел внутренний текст, но мог передать блок в следующий запрос, в том числе между сессиями, пользователями и моделями одной линейки. Выяснилось, что модели внутри семейства использовали общий ключ: трассу сильной модели удавалось подать более слабой родственной версии, а затем с помощью jailbreak-запроса заставить её дословно вывести расшифрованное рассуждение.

Особенно податливой оказалась Claude Haiku 4.5. Атака просила продолжить диалог и переписать приложенное рассуждение внутрь специального тега, одновременно задавая начало ответа ассистента с этим тегом. Возможность такого префикса исчезла в моделях Claude 4.6, но сохранялась в Haiku 4.5. После уведомления все затронутые провайдеры подтвердили получение отчёта, и исследователи больше не смогли воспроизвести атаку прежним способом, то есть описываемая техника, по имеющимся данным, уже закрыта.

Расшифрованные фрагменты дали возможность проверить, насколько другие LLM запоминают конкретные скрытые траектории. В опытах восстанавливали reasoning Claude Opus 4.8 и GPT-5.6 Sol, затем давали Kimi K3 первые токены одной из цепочек. Иногда модели было достаточно менее 1% исходного рассуждения, чтобы продолжение стало заметно ближе к логике закрытой модели, а итоговый ответ сместился в ту же сторону. Без такого начала Kimi могла выбирать другой ход решения.

Самая заметная аномалия проявилась при сравнении с другими открытыми моделями: отдельные фрагменты reasoning Claude и GPT извлекались из Kimi приблизительно на шесть порядков легче. Это сильный сигнал возможного знакомства с такими или очень похожими последовательностями во время обучения. Однако продолжение короткого префикса ещё не устанавливает происхождение данных: эффект может иметь иные причины, поэтому по этим тестам нельзя заключить, что Moonshot напрямую получила приватные трассы или проводила дистилляцию именно из них.

Уязвимость важна не только как способ подсмотреть внутреннюю работу модели. Исследователи также описали вариант prompt injection, при котором вредоносную установку — например, намерение выгрузить файл на внешний сервер — сначала внедряют в reasoning, а затем переносят зашифрованный блок в другой запрос. Модели склонны воспринимать собственные сохранённые рассуждения как доверенный контекст и охотнее следовать попавшим туда инструкциям, чем обычному недоверенному тексту.