AI Radar
Thinking Machines выложила веса модели Inkling 2 Small на 594 миллиарда параметров
Thinking Machines опубликовала веса Inkling 2 Small, модели архитектуры MoE (mixture of experts) на 594 млрд параметров, из которых на каждом шаге работают 17 млрд. Запустить её можно на двух ускорителях B300 или четырёх H200, так что модель доступна лабораториям и компаниям с собственным железом.
MoE означает, что модель состоит из множества «экспертов», и на каждый токен включается лишь небольшая их часть. У Inkling 2 Small активны 17 млрд параметров из 594 млрд. Поэтому считает она примерно как модель среднего размера, хотя все веса нужно держать в памяти. Отсюда и требования к железу: две B300 или четыре H200.
Претрейн на 12 трлн токенов занял 68 часов. Ещё 9 дней ушло на этап обучения с подкреплением (RL) на кластере из 2048 видеокарт. По качеству модель оценивают как сопоставимую с китайскими моделями двух-трёхмесячной давности. Это оценка из анонса, независимых замеров пока нет. Название Small намекает на старшую версию, но о ней пока ничего не объявлено.
Почему это важно
Открытые веса такого масштаба можно развернуть у себя и дообучить под свои данные, не отправляя их во внешний API. Для университетов и компаний с парой серверных ускорителей это ещё один вариант рядом с китайскими открытыми моделями, которые сейчас задают планку.
Мнение редакции
Мнение редакцииСамая любопытная цифра здесь 68 часов на претрейн из 12 трлн токенов: меньше трёх суток на этап, который принято считать самым долгим. RL при этом занял втрое больше времени. Похоже, основная работа над моделью смещается с претрейна на дообучение с подкреплением, и именно там лаборатории будут соревноваться дальше.
Первоисточники и подтверждения
TelegramПодборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.