Thinking Machines Lab выпустила модель Inkling 2 Small для дообучения на данных разработчиков

Inkling 2 Small – первая модель второго поколения Thinking Machines Lab, компании Миры Мурати. Она принимает текст и изображения, отвечает текстом и позволяет менять объём вычислений, выделяемых на рассуждение. Архитектура mixture of experts, или MoE, устроена так, что для обработки каждого токена используется часть модели: при 594 млрд параметров активируются 17 млрд. Это снижает объём вычислений на токен по сравнению с использованием всех параметров сразу, однако полные веса всё равно нужно где-то хранить при самостоятельном запуске.

Компания делает акцент на обучении модели под собственные задачи разработчика. На платформе Tinker можно использовать свои данные и критерии оценки, не управляя самостоятельно распределённой тренировкой. В эксперименте с открытыми данными звонков по финансовой отчётности Inkling 2 Small после 75 шагов обучения с подкреплением достигла уровня, на который предыдущей Inkling-Small потребовалось 200 шагов. Модели сравнивали при одинаковых данных и алгоритме, подбирая скорость обучения для каждой. Такой результат относится к конкретной задаче инвестиционного анализа, а не ко всем возможным сценариям дообучения.

В отдельной демонстрации Inkling 2 Small сама подготовила данные и оценку, сравнила варианты тренировки и исправила ошибки при дообучении Qwen3.5-4B. По данным Thinking Machines Lab, процесс занял 4 часа 17 минут и стоил $426, а ошибка прогноза дообученной модели на ранее не показанных ей данных снизилась примерно на 15% относительно базовой версии. Пример иллюстрирует работу модели как агента, который пользуется инструментами для настройки другой модели. Получить тот же результат в ином проекте без повторения условий эксперимента нельзя.

В индексе Artificial Analysis новая модель получила 31 балл против 13 у предшественницы; в оценке создания сайтов DesignArena – 1340 баллов. Через Tinker уже доступны вызов модели и её дообучение: миллион входных токенов без кэша стоит $0,30, выходных – $1. Компания планирует выложить полные веса под лицензией Apache 2.0 на следующей неделе после внешних проверок безопасности. До их публикации самостоятельный запуск и возможность скачать полученные при обучении чекпоинты остаются запланированными, а сравнивать модель на собственных задачах разработчики могут через сервис.