Google открыла EmbeddingGemma 2 для локального мультимодального поиска и RAG

Эмбеддинг-модель не генерирует развёрнутый ответ, а представляет объекты в виде числовых векторов, близость которых отражает смысловое сходство. Именно этот слой обычно лежит в основе семантического поиска, рекомендаций и RAG: система сначала находит релевантные фрагменты, а уже затем передаёт их генеративной модели. Первая EmbeddingGemma работала с текстом; вторая объединяет в одном пространстве текст, код, изображения, видео и аудио. Поэтому запросом можно найти фотографию, по голосовой заметке — нужный видеоклип, а по описанию — фрагмент в большой медиатеке, не сводя данные заранее к одному формату. [ev_a1e0ba23, ev_b2d27ec8]

EmbeddingGemma 2 построена на архитектуре Gemma 4 и имеет модульное устройство. На текст приходится 270 млн параметров, на изображение — 170 млн, на аудио — 300 млн; нужные энкодеры можно не загружать, если приложение работает только с частью модальностей. Google приводит для оптимизированного запуска на Pixel 11 Pro около 567 МБ активной RAM для полной конфигурации и около 191 МБ для текстовой части. Контекст вырос до 8 тыс. токенов — это, по приведённой оценке, примерно 5,5 минуты аудио либо до 29 изображений за один запрос. Такие параметры не отменяют требований к индексации и хранилищу векторов, но делают локальные сценарии реалистичнее, чем у крупных универсальных моделей. [ev_8a41bd9e, ev_b2d27ec8]

Для разработчиков кода заметен отдельный прирост: Google сообщает рост на MTEB Code с 68,76 до 78,68 балла — на 9,92 пункта по сравнению с первой версией. Это прямо связано с индексированием локальных репозиториев, семантическим поиском по ним и retrieval-слоем кодовых агентов. Компания также заявляет, что модель сохраняет сильное многоязычное качество текстовых эмбеддингов и лидирует среди мультимодальных эмбеддеров размером до 1 млрд параметров. Последнее — утверждение вендора, а не универсальный независимый вердикт; The Decoder передаёт, что Google сравнивает новинку с некоторыми конкурентами более чем вдвое крупнее. [ev_a1e0ba23, ev_8123bdbe]

Особенно важна лицензия Apache 2.0: веса можно использовать и в коммерческих продуктах, а не только через один облачный API. В связке с небольшой генеративной Gemma 4 это позволяет собрать офлайн-RAG: локально строить индекс, искать по личным документам или медиа и формировать ответ без передачи содержимого внешнему сервису. Открытость полезна и для долгоживущих векторных баз: если поставщик хостинга меняет модель или прекращает сервис, владельцу индекса не обязательно заново привязываться к закрытой альтернативе — он может развернуть те же веса сам или выбрать совместимого провайдера. При этом переход на любую новую модель всё равно может потребовать переэмбеддинга уже накопленных данных. [ev_a1e0ba23, ev_fce8069b]