Recursive выпустила локальную модель Flint для кодовых агентов

Flint – модель для программирования с архитектурой mixture-of-experts: из 40 млрд параметров для каждого токена задействуются 2,5 млрд. Такой подход снижает объём вычислений при инференсе, хотя веса всей модели всё равно нужно разместить на устройстве. Recursive распространяет веса бесплатно под лицензией Apache 2.0; модель предназначена для локальной работы, в том числе без подключения к облачному API. Для разработчиков это возможность оставить код на своей машине и не платить за обработку каждого запроса.

По замерам Recursive, оптимизированный запуск Flint превышает 125 токенов в секунду на MacBook Pro с M4 Pro и 150 токенов в секунду на NVIDIA RTX Spark при коротком контексте. Компания также приводит результат 74,2% на SWE-bench Verified, наборе задач по исправлению ошибок в реальных проектах. Это заявленные результаты тестов: скорость на другом устройстве и качество в конкретном репозитории могут отличаться. Поддерживается контекст до 512 тысяч токенов, но сама Recursive рекомендует держаться в пределах 256 тысяч.

Recursive утверждает, что её автоматизированная исследовательская система Eureka Machine участвовала почти во всех этапах создания Flint. Она предлагала и проверяла решения для архитектуры, обучения, квантования и ускорения инференса; работа небольшой команды заняла меньше четырёх месяцев. При этом речь идёт об исследовательском помощнике под наблюдением людей, а не о системе, которая самостоятельно запускает бесконечный цикл улучшения моделей.

Часть оптимизаций касается именно работы на локальном железе. Для Flint подготовлены специализированные kernels для низкой точности вычислений и операций MoE, а на чипах Apple M4 и M5 используется Metal kernel, объединяющий этапы генерации токена. Компания также сообщает о версии NVFP4: в её тестах она отстала от 16-битной модели менее чем на 0,7 пункта. Веса можно запускать через привычные локальные инструменты, включая llama.cpp и Ollama.

Recursive ориентирует Flint на локальных кодовых агентов, которым важны скорость ответа и работа с приватным кодом. Компания советует разбивать сложные задачи на небольшие подзадачи и формулировать инструкции явно: по её оценке, модели может требоваться больше направляющих указаний, чем крупным закрытым альтернативам. Это ограничение существенно для длительных агентных запусков, где качество каждого промежуточного шага влияет на итоговую правку.