Aleph Alpha открыла MoE-модель Kolibri с контекстом до миллиона токенов

Kolibri ориентирована на суверенное и критически важное применение в государственном секторе и регулируемых отраслях. Главный практический акцент здесь — возможность развернуть модель на собственной инфраструктуре, не передавая внутренние данные стороннему сервису инференса. Полные веса опубликованы на Hugging Face под лицензией Apache 2.0. Модель двуязычная, для английского и немецкого языков; Aleph Alpha также связывает релиз с контролем над всем контуром — от подготовки данных и обучения до весов, оценки и развёртывания — в контексте европейских требований к комплаенсу и суверенности.

Архитектурно это Mixture-of-Experts Transformer: всего в ней 78,1 млрд параметров, но на каждом токене включаются шесть из 384 экспертов, или 3,46 млрд параметров. Такой дизайн призван приблизить качество крупной модели к стоимости исполнения более компактной. Чтобы удерживать цену длинного контекста, полное внимание используется в 10 из 50 слоёв, а остальные 40 работают со скользящим окном в 512 токенов. Для обслуживания заявлен контекст до 1 048 576 токенов, хотя стадия long-context-адаптации доходила до 256 тыс. токенов — это важное различие между длиной, на которой модель адаптировали, и доступной конфигурацией сервинга.

Обучение проходило на 768 GPU NVIDIA B200. Начальный этап охватил 20 трлн токенов за 21 день, а с последующим mid-training и адаптацией под длинный контекст общий объём приблизился к 24 трлн токенов. Немецкий составил 21,3% предобучающего корпуса; для него предусмотрены двуязычный словарь на 128 тыс. единиц и токенизатор, рассчитанный на сохранение немецких сложных слов. Помимо обычной генерации Kolibri предлагает четыре уровня reasoning — none, low, medium и high — а также tool calling.

Aleph Alpha заявляет специализацию на немецком языке, математике, коде, длинном контексте и агентных задачах. В собственных тестах модель получила общий балл 75,5 для английского и 70,8 для немецкого, 96,9 на AIME 2025, 85,9 на LiveCodeBench v6 и 61,4 на BFCL v4. Компания утверждает, что по соотношению качества и стоимости сервинга Kolibri находится на Pareto-фронте для обоих языков и может соперничать на ряде задач с моделями, имеющими до четырёх раз больше активных параметров. Эти цифры следует воспринимать как результаты вендора: использовались его собственные harnesses и максимальный доступный уровень reasoning там, где он применим.

Отдельно разработчики выделяют grounding — способность не достраивать ответ при отсутствии достаточных оснований. Kolibri обучали на примерах воздержания от ответа и процедуре Merlin-Arthur. На внутреннем наборе AA-Omniscience модель, по данным компании, избежала неверного ответа в 44% случаев против 14,8% у Kolibri Origin; показатель M/A grounding составил 0,23. Для запуска Aleph Alpha предлагает собственный inference package и специальный плагин для vLLM, что делает релиз не только публикацией весов, но и заготовкой под самостоятельную эксплуатацию.