AI Radar
NVIDIA выпустила компактную модель Nemotron 3.5 Bolt E4B
NVIDIA опубликовала веса Nemotron 3.5 Bolt E4B: при генерации модель задействует 4 млрд из 8 млрд параметров. Она рассчитана на локальный запуск на GeForce RTX, Jetson и Spark.
Компактная Bolt E4B выросла из Gemma 4 E4B от Google: NVIDIA дообучила основу с подкреплением для следования инструкциям, многошагового вызова инструментов и диалогов. У модели 8 млрд параметров, но при генерации каждого токена задействованы 4 млрд. Контекстное окно вмещает 64 тысячи токенов, заявлена поддержка 35 языков. Предыдущий Bolt на 74 млрд параметров получили сжатием Nemotron 3.5 Super VL, поэтому две модели с общим названием имеют разное происхождение.
При квантовании до 4 бит E4B занимает около 4 ГБ памяти. Режим рассуждения можно отключить или ограничить длину рассуждения ради скорости. На RTX 5070 первый токен появляется за 548 мс, затем модель выдаёт 133 токена в секунду; на Jetson Orin Nano эти показатели составляют 5,8 секунды и 15,5 токена в секунду. Вместе с весами в BF16 и GGUF опубликованы вспомогательные модели DFlash: они предлагают несколько следующих токенов, которые проверяет основная модель. NVIDIA оценивает прирост скорости от этого метода величиной до 21%. Поддержка E4B уже есть в llama.cpp, Ollama, LM Studio, vLLM и SGLang.
В сравнении NVIDIA модель в среднем превосходит Nemotron 3 Nano 4B на 40% и тратит до 80% меньше токенов на ответ. При этом на Tau2-Bench, тесте работы с инструментами, E4B набрала 52,3 балла против 61,7 у Qwen3.5 4B. На RULER, проверяющем работу с длинным контекстом, результаты составили 85,8 и 95,4 соответственно. Веса опубликованы под лицензией OpenMDW 1.1.
Почему это важно
Разработчики локальных приложений получили модель, которая после квантования помещается примерно в 4 ГБ памяти и поддерживается популярными инструментами запуска. Для проектов на Jetson задержка ответа будет существенно выше, чем на RTX 5070.
Мнение редакции
Мнение редакцииДля локального запуска важна задержка до первого токена. На Jetson Orin Nano модель отвечает заметно медленнее, чем на RTX 5070, поэтому один и тот же сценарий будет ощущаться по-разному на плате и на десктопе.
Первоисточники и подтверждения
TelegramПодборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.