iFLYTEK выпустила Spark X2.6 и открыла локальную модель на 4 млрд параметров

Облачная часть Spark X2.6 построена как MoE-модель 293B-A30B: при обработке запроса активируется часть её параметров. Она поддерживает контекст до миллиона токенов, то есть может принимать объёмный текст в одном запросе. iFLYTEK установила цену ввода в 0,9 юаня за миллион токенов, вывода — в 3,6 юаня. При попадании в кеш повторный ввод стоит 0,08 юаня за миллион токенов. Эта разница особенно заметна в задачах, где к модели снова и снова отправляют одни и те же документы или длинные инструкции.

Для работы на устройстве компания открыла Spark X2.6-4B. Локальная модель может выполнить задачу сама, передать её в облако или работать вместе с облачной моделью. Выбор делает маршрутизатор: он оценивает запрос до запуска основной обработки. По данным iFLYTEK, после совместного обучения моделей точность такого выбора выросла с 81,2% до 96,1%. Компания рассматривает 4B-модель как вариант для AI PC, автомобилей и роботов, где возможность выполнить часть запросов без постоянного обращения к серверу имеет практическое значение.

iFLYTEK связывает обновление облачной модели с изменениями в обучении и инференсе на китайских чипах. Для одного из описанных компанией сценариев длительного обучения время сократилось с 4,5 до 1,2 месяца. При инференсе компания использует распределённую обработку на разнородных ускорителях и многоуровневый KV cache — хранилище промежуточных состояний, которое помогает не пересчитывать уже обработанный контекст. iFLYTEK приводит рост доли попаданий в кеш с 63% до 95,7%, а эффективности инференса на своей платформе — в 4,5 раза относительно состояния до оптимизации. Эти показатели и результаты тестов опубликованы самой компанией.

Работу связки компания показала в AStudio, инструменте для профессиональных задач. В демонстрации ассистент без подключения к сети просмотрел локальные письма и еженедельные отчёты, подготовил таблицу с результатами и ссылки на использованные письма. Когда для задачи требуется облачная модель, локальная часть сначала обрабатывает данные и обезличивает сведения перед отправкой. После ответа облака она восстанавливает нужный контекст на устройстве. Такой сценарий объясняет, зачем iFLYTEK обучает и модель, и маршрутизатор: им нужно согласованно работать с одним запросом.

В тот же выпуск вошла SparkAudio 1.0 — модель для анализа и распознавания звука, также обученная на китайских вычислительных мощностях. На презентации она разбирала запись с несколькими типами звуков, включая речь и фоновые шумы. Компания уже использует её в своих продуктах для ввода текста, расшифровки и перевода речи. Наряду с AStudio это даёт представление о том, какие приложения iFLYTEK собирается строить поверх новых моделей: от обработки рабочих документов до записей разговоров.