Moonshot AI открыла веса Kimi K3.1 Pro, а Huawei подготовила её запуск на Ascend

Moonshot AI открыла полные веса Kimi K3.1 Pro, первой модели серии K3.1. Это mixture-of-experts-модель: при обработке токена она задействует часть своих параметров, около 104 млрд из общих 2,8 трлн. У модели есть встроенное понимание изображений и контекстное окно примерно на миллион токенов. Открытие весов даёт возможность разворачивать её в собственной инфраструктуре, но масштаб файлов сразу делает такой запуск задачей для серверного оборудования.

В архитектуре сохранились слои Kimi Delta Attention, известные по предыдущей Kimi K3, а часть слоёв полного внимания заменена механизмом sparse attention. Он выбирает, с какой частью длинной истории работать при вычислении внимания, чтобы снизить стоимость обработки большого контекста. При этом реализация нового пути внимания требует поддержки со стороны inference-движка и аппаратного стека. Поэтому публикация весов и возможность эффективно обслуживать запросы к модели на конкретных ускорителях решаются отдельно.

Команда Huawei Ascend подготовила адаптацию модели к дню её выхода. Для развёртывания она указала vLLM Ascend и SGLang, а среди систем – серверы Atlas 800 A3, Atlas 900 A3 SuperPoD и серию Ascend 950 SuperPoD. Huawei сообщила, что использовала уже готовую поддержку Kimi Delta Attention и mixture-of-experts, добавив обработку sparse attention и мультимодальных запросов. По заявлению команды, работа затронула вычислительные операторы, кэширование между узлами и проверку обслуживания запросов.

Практический масштаб задачи виден по памяти. Оценка для весов в BF16 составляет около 5,6 ТБ, а при INT4-квантизации – около 1,4 ТБ. Опубликованные файлы в формате MXFP4 занимают примерно 1,56 ТБ. Квантизация уменьшает объём хранения весов, но даже после неё модель не рассчитана на одну обычную потребительскую видеокарту. Для длинного контекста нужна ещё и организация вычислений: в документации vLLM Ascend приведён вариант на восьми узлах с разделением этапов prefill и decode.

В документации vLLM Ascend поддержка Kimi K3.1 Pro в версии 0.30.0 обозначена как экспериментальная. Для Atlas 800I A3 описана конфигурация с W4A8-квантизацией, для продуктов 950DT – вариант W4A8 MXFP; Atlas A2 и 950PR пока не поддерживаются. Это различие существенно для команд, выбирающих оборудование: заявленная совместимость с семейством Ascend не означает одинакового пути запуска на каждом устройстве. Конфигурация под миллион токенов также описана для нескольких узлов, а не как настройка одиночного сервера.