AI Radar
Разработчик slvDev запустил локально на ESP32-S3 языковую модель с 28,9 млн параметров. Для этого он использовал 4-битную квантизацию и подход Per-Layer Embeddings из Gemma.
Модель занимает 14,9 МБ, а таблица эмбеддингов примерно на 25 млн параметров хранится во flash-памяти объёмом 16 МБ. Быстрая память микроконтроллера остаётся доступной для вычислительного ядра модели.
Демонстрационная модель обучена на TinyStories и способна генерировать только короткие простые художественные тексты. Работа не предназначена для чат-ботов или программирования, но показывает возможность запуска узкоспециализированных нейросетей на дешёвом автономном оборудовании.
Почему важно: проект демонстрирует, как архитектурные приёмы и размещение весов в памяти расширяют границы локального инференса на микроконтроллерах. Это полезный ориентир для edge- и embedded-команд, работающих с узкими офлайн-задачами.
DSML editors review the selection. AI helps deduplicate signals and draft the text; the published edition remains an editorial product, not a feed of individual channels.
