ModelBest выпустила мультимодальную MiniCPM-V4.7 для запуска на устройствах

Главная особенность версии 35B-A3B – архитектура MoE, или «смесь экспертов». У модели 35 млрд параметров, но при обработке очередного токена задействуется около 3 млрд: разные части модели подключаются по мере необходимости. Это снижает объём вычислений на шаге, однако не означает, что все 35 млрд параметров исчезают из требований к хранению. На телефоне особенно трудно держать веса всех экспертов в оперативной памяти, поэтому скорость зависит ещё и от того, как быстро система подгружает нужные части модели.

По данным разработчика, 35B-A3B работает на iPhone 17 Pro Max, занимая около 3 ГБ памяти и выдавая более 13 токенов в секунду при декодировании; на iPad Pro измеренная скорость превысила 15 токенов в секунду. Компания называет такой запуск «без потери качества». К этим цифрам стоит относиться как к результатам конкретных настроек и устройств, а не как к обещанию одинаковой скорости на любом смартфоне. Помимо 35B-A3B выпущена компактная версия с фактическим размером 1,3 млрд параметров.

Для подгрузки экспертов команда использует LES – механизм, который предсказывает, какие веса могут понадобиться на следующем слое, и заранее начинает их чтение. При этом предсказание не заменяет выбор эксперта самой моделью: если нужную часть не угадали, её всё равно загружают и используют. К этому добавлены послойное квантование, уменьшающее объём весов и передачу данных, и спекулятивное декодирование DSpark для ускорения генерации. Вместе эти приёмы направлены на задержки, возникающие при запуске большой MoE-модели на устройстве с ограниченной памятью.

Серия работает не только с текстом: она рассчитана на изображения, документы и видео. Для визуального ввода доступны режимы сжатия в 4 и 16 раз: меньше визуальных токенов означает меньшую нагрузку на память и более быструю обработку, но высокий уровень сжатия обычно требует компромисса по точности. В опубликованных сравнениях разработчик отмечает сильные результаты 35B-A3B на задачах по изображениям, STEM, распознаванию документов и видео относительно Qwen3.6 35B-A3B. На части чисто текстовых задач, в том числе по коду и строгому следованию ограничениям, преимущества не заявлены.

Разработчик предоставил открытый код для адаптации модели к устройствам и заявил поддержку iOS, Android и HarmonyOS, а также платформ Apple, Intel, Nvidia и Rockchip. Это расширяет варианты локального развёртывания, но конкретное поведение всё равно зависит от устройства и сценария. В доступной онлайн-демонстрации модель быстро справлялась с обычным анализом изображений, однако для части сложных вопросов длина ответа ограничивалась площадкой. Поэтому демонстрация не заменяет проверку приложения на целевом оборудовании.