DeepSeek открыла код фреймворка DeepInfer для инференса V4.1 Flash

DeepInfer вырос из системы, на которой DeepSeek обслуживает запросы к V4.1 Flash в промышленной эксплуатации. По словам команды, один кластер обрабатывает 155 трлн токенов в день. Это показатель работающего сервиса, а не обещание той же пропускной способности для любой установки открытого кода. Опубликованная версия рассчитана на офлайн-инференс и содержит ключевые компоненты для обслуживания моделей в большом масштабе, но полный онлайн-сервис из неё автоматически не получается.

В основе DeepInfer лежит vLLM; разработчики также отмечают влияние SGLang и TensorRT-LLM. Система поддерживает распределённый инференс и speculative decoding: в этой схеме черновой вариант следующих токенов проверяется основной моделью, чтобы ускорить генерацию. DeepSeek описывает и раздельное развёртывание стадий prefill и decode. Первая обрабатывает входной контекст перед ответом, вторая последовательно выдаёт новые токены; разнесение позволяет отдельно распределять ресурсы под задержку первого токена и скорость дальнейшей генерации.

Отдельный блок оптимизаций связан с KV-cache, где хранятся промежуточные данные для продолжения генерации. DeepSeek описывает хранение частей этого кеша в отдельном хранилище, чтобы разные машины prefill могли повторно использовать уже обработанный префикс запроса. Для модели со sliding-window attention команда применяет Bounded Replay: вместо долговременного сохранения соответствующего кеша система при необходимости пересчитывает ограниченный участок. Эти решения объясняют, как DeepSeek пытается сокращать повторные вычисления при нагрузке сервиса.

Вместе с фреймворком DeepSeek открыла deepseek-recipe, компонент для преобразования между форматами популярных API и токенами модели. Его задача – воспроизвести обработку запросов официального API при стороннем развёртывании. DeepInfer выпущен под лицензией Apache 2.0; опубликованный код ориентирован на GPU Nvidia SM100 и ускорители Huawei Ascend 950. В примере воспроизведения измерений указаны четыре GPU SM100 для prefill и 64 для decode, поэтому результаты крупной конфигурации нельзя напрямую переносить на небольшую установку.