AI Radar
Сбер выпустил новое поколение текстовых эмбеддингов: в линейку вошли модели на 480 млн, 3 млрд и 10 млрд параметров. Веса доступны разработчикам и компаниям на Hugging Face и GitVerse под разрешительной лицензией MIT.
GigaEmbeddings преобразуют текст в числовые векторы, близость которых отражает смысловую близость исходных фрагментов. Такие представления применяют в семантическом поиске, классификации и кластеризации, а также в RAG-системах, где языковая модель сначала получает релевантные документы и только затем формирует ответ.
Команда переработала архитектуру ради совместимости со стандартными открытыми инструментами. По данным Сбера, при работе через vLLM версия 3B стала в 1,6 раза быстрее предыдущего поколения, а разреженная 10B-A1.8B — вдвое. Обучающий набор увеличили в несколько раз, в том числе за счёт открытых датасетов Nemotron, F2LLM и KALM; для сохранения баланса между языками применяли слияние экспертов, а компактную модель обучали дистилляцией на ответах более крупных моделей.
Во внутренних и публичных тестах старшая 10B-A1.8B возглавила русскоязычный бенчмарк ruMTEB, у версии 3B результат обработки кода вырос на 14,5 пункта, а 480M показала лучший русский результат среди моделей размером до 500 млн параметров. Эти цифры стоит проверять на данных конкретного проекта: место в бенчмарке не гарантирует такой же разрыв на узком домене или при иных настройках поиска.
Разработчики могут выбрать между компактной моделью для ограниченной инфраструктуры и более крупными вариантами с упором на качество, не привязываясь к закрытому API. Лицензия MIT упрощает коммерческое внедрение в поиск и RAG, но окончательный выбор потребует замеров качества, задержки и стоимости на собственном корпусе.
DSML editors review the selection. AI helps deduplicate signals and draft the text; the published edition remains an editorial product, not a feed of individual channels.
