DeepSeek открыла исходный код движка инференса DeepInfer

DeepInfer обслуживает инференс DeepSeek-V4.1-Flash, то есть выполнение уже обученной модели при обработке запросов. По данным DeepSeek, один кластер обрабатывает около 155 трлн токенов в день. При такой нагрузке даже короткие паузы между шагами генерации накапливаются. Компания открыла код движка, включая механизмы параллельной работы экспертов MoE, асинхронное формирование batch, специализированные GPU-ядра и спекулятивное декодирование. Сейчас опубликованы возможности офлайн-инференса; компоненты онлайн-хранения KV-кеша и балансировки между репликами раскрыты не полностью.

Один из центральных механизмов называется Zero-Overhead Batch Scheduler. При обычном декодировании CPU готовит пакет запросов, GPU вычисляет следующий токен, затем CPU считывает результат и обновляет состояние запросов перед очередным шагом. DeepInfer меняет порядок: пока GPU обрабатывает шаг N, CPU уже готовит пакет для шага N+1 и разбирает более ранние результаты. CUDA Stream и Event помогают соблюдать зависимости между операциями. Так движок сокращает ожидание GPU, хотя выигрыш зависит от того, сколько работы CPU удаётся выполнить параллельно с вычислениями.

Подготовка следующего шага заранее создаёт проблему с состоянием запроса. CPU ещё может не знать, сколько токенов принято при спекулятивном декодировании, а новой операции уже нужны длина последовательности и место в KV-кеше – памяти для промежуточных данных внимания. DeepInfer учитывает отправленные в работу, но ещё не подтверждённые токены через total_inflight_tokens и резервирует под них ёмкость. Если запросы меняют места между пакетами, механизм Remap сопоставляет их с сохранённым состоянием, после чего GPU уточняет параметры вычисления по фактическим результатам.

Асинхронность усложняет и освобождение памяти: CPU может закончить обработку запроса, пока GPU ещё использует связанные с ним данные. DeepInfer откладывает освобождение таких ресурсов и проверяет завершение операций через CUDA Event. Это позволяет не передать кеш другому запросу слишком рано. Отдельные правила нужны при вытеснении запроса из выполняемого пакета: поздно пришедший результат предыдущего шага не должен обновить уже изменившееся состояние последовательности.

Для MoE-модели, в которой токены распределяются между специализированными частями модели – экспертами, важна согласованность нескольких GPU. В приведённой конфигурации на этапе генерации используется параллелизм по экспертам от EP64 до EP128. DeepInfer координирует переключение GPU между обработкой входного контекста и генерацией, чтобы участники одной группы выполняли совместимые операции связи. Движок также перераспределяет нагрузку между экспертами; для описанной конфигурации отношение нагрузки самого медленного участника к средней составило около 1,090.