Stepfun открыла веса модели Step 5 Preview в форматах BF16 и FP8

Stepfun опубликовала Step 5 Preview в двух вариантах весов, BF16 и FP8, на Hugging Face и ModelScope. FP8 использует меньшую точность хранения, что может снижать требования к памяти по сравнению с BF16; выбор зависит от оборудования и допустимых компромиссов при запуске. До открытия весов модель уже использовали через платформу OpenRouter: на 15 октября она занимала второе место в недельном и дневном рейтингах по числу обработанных токенов. За семь дней через платформу прошло около 18,8 трлн токенов модели.

У Step 5 Preview 600 млрд параметров суммарно и около 27 млрд активных при обработке токена. Такая разница характерна для разреженной смеси экспертов: разные части сети подключаются в зависимости от входных данных, вместо того чтобы задействовать все параметры одновременно. Заявленное контекстное окно составляет миллион токенов. Большое окно позволяет подавать модели длинную историю работы агента, но само по себе не гарантирует, что она одинаково хорошо найдёт нужную информацию в любой точке этой истории.

Одна из особенностей архитектуры – 92 относительно узких слоя Transformer. По объяснению команды, глубина должна помогать модели связывать информацию из разных частей длинного контекста, когда у агента нет возможности подробно рассуждать на каждом шаге. Для контроля затрат на внимание разработчики чередуют слои со скользящим окном и разреженные слои с доступом к более далёким фрагментам истории в пропорции три к одному. Идея в том, чтобы не выполнять дорогое сопоставление каждого нового токена со всем предыдущим текстом.

В слоях с доступом к длинной истории используется Sparse GQA: механизм сначала выбирает подходящие участки прошлого контекста, а затем считывает их подробнее. Команда группирует соседние позиции для отбора и объединяет похожие выборки соседних токенов, чтобы уменьшить накладные расходы и лучше загрузить GPU. Это особенно существенно при окне в миллион токенов, где полное внимание стало бы затратным при обучении и инференсе. Приведённые технические результаты описывают выбранную конструкцию, а не универсальную гарантию эффективности для любой задачи.

Разработчики также описали меры против скачков чисел и градиентов при обучении: часть состояний и параметров нормализации хранили с точностью FP32, а редкие аномальные градиенты ограничивали отдельно. В индексе Artificial Analysis модель получила 44 балла и вошла в тройку открытых моделей на момент приведённой оценки. Теперь опубликованные веса позволяют проверять не только её ответы через API, но и практические требования к размещению BF16- и FP8-версий на доступном оборудовании.