AI Radar
Разработчики llama-modchip подготовили запуск DeepSeek-V4-Flash на CPU с 64 ГБ памяти
Разработчики llama-modchip представили патчи для запуска DeepSeek-V4-Flash с 284 млрд параметров на CPU с 64 ГБ оперативной памяти без GPU. Проект использует квантование весов и особенности MoE-модели, в которой при обработке токена работает часть экспертов.
llama-modchip объединяет патчи для вычислительных ядер ggml/llama.cpp, инструменты запуска и средства преобразования квантованных весов. Проект рассчитан на разреженные модели типа Mixture-of-Experts: при обработке токена они выбирают часть «экспертов», а не задействуют все параметры сразу. Это позволяет обсуждать запуск модели с 284 млрд параметров на CPU, хотя её веса всё равно нужно разместить в памяти.
Для DeepSeek-V4-Flash авторы указывают квантованный checkpoint Fractal объёмом 56,56 ГиБ и потребление менее 59 ГиБ оперативной памяти при запуске без GPU. Они приводят скорость 44,4 токена в секунду при обработке входа и 9,1–14,7 токена в секунду при генерации. Это замеры разработчиков проекта, а не независимый тест на разных конфигурациях.
Упаковка весов требует совместимого runtime. Вариант Fractal-64 использует собственный тип тензоров GGML_TYPE_Q2_0 с идентификатором 40; обычные сборки llama.cpp, Ollama и LM Studio его не распознают. Поэтому для такого checkpoint нужен пропатченный запускатель llama-modchip или совместимый бинарный файл из релиза проекта. Поддержка обычного GGUF-стека здесь не подразумевается.
В стандартном режиме DeepSeek-V4-Flash на каждом слое обрабатывает шесть выбранных и одного общего эксперта, без пропуска выбранных. Флаг LLAMA_MOE_TOP_K позволяет уменьшить число выбранных экспертов до пяти или четырёх ради скорости генерации, но авторы предупреждают о возможном ухудшении perplexity – показателя того, насколько уверенно модель предсказывает текст. Проект поддерживает процессоры x86_64 и ARM64 с указанными в документации наборами инструкций; для сравнения собственных результатов предусмотрен запуск бенчмарка.
Почему это важно
Модель уровня ведущих лабораторий на сервере без GPU снимает главный барьер для компаний и университетов без доступа к дефицитным видеокартам. Данные не нужно отправлять в чужое облако, а сервер с большой памятью найти проще и дешевле.
Мнение редакции
Мнение редакцииЛаборатории перешли на Mixture-of-Experts ради дешёвого обучения и сервинга, а побочным эффектом стало то, что на каждый токен работает лишь малая часть весов, и обычной оперативной памяти вдруг хватает. Но модели проекта используют собственный тип тензоров, который не открывают Ollama и LM Studio, так что до приёма патчей в основной llama.cpp это путь для энтузиастов.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.