Baidu открыла веса базовой модели ERNIE 5.5 Flash Base

ERNIE-5.5-Flash-Base опубликована как checkpoint на выходе из предобучения. По данным Baidu, модель прошла обучение с нуля на 33,5 трлн токенов, но ещё не прошла последующие этапы обучения, включая настройку под инструкции. Это означает, что опубликованные веса служат отправной точкой для исследовательского дообучения и адаптации под предметную область. Команда обещает выпустить позже и версию, прошедшую post-training.

В модели используется MoE, или смесь экспертов: для обработки каждого токена выбирается часть параметров, а не весь набор сразу. У ERNIE 5.5 Flash Base всего 280 млрд параметров, активны 14 млрд на токен. Baidu применяет несколько независимо инициализированных маршрутизаторов, которые совместно выбирают экспертов. Такой подход призван точнее связывать токен с нужными частями модели без увеличения числа активных экспертов и объёма вычислений.

Для длинного контекста Baidu сочетает сильно сжатое представление истории с отдельными слоями, сохраняющими доступ к токенам. В 37 из 43 слоёв внимание работает со сжатой последовательностью: каждые 128 токенов сворачиваются в одну запись KV-кеша, то есть памяти о предыдущих токенах при генерации. Примерно каждый седьмой слой обращается к более подробной истории с помощью sparse attention. Архитектура призвана снизить расход памяти, сохранив возможность находить нужные фрагменты в длинном вводе.

Максимальный контекст при предобучении составлял 128 тысяч токенов; для дообучения и инференса заявлена поддержка до миллиона токенов. Веса доступны в форматах FP8 и BF16 по отдельному лицензионному соглашению ERNIE 5.5 Flash Base Model License Agreement v1.0. Для запуска предусмотрена поддержка SGLang и vLLM, а пример дообучения размещён в Megatron-Bridge. Заявленная длина контекста описывает поддерживаемый режим работы, но сама по себе не показывает качество ответов на всём его протяжении.