Article · Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий · May 15, 2026
Разработка и оценка эффективности семантической эмбеддинг-модели ModernUzBERT с расширенным контекстом для узбекского языка
И.Ш. Хужаяров, Mannon Ochilov, Kholmatov O.A., В.И. Жуманов
Abstract
Данное исследование посвящено разработке ModernUzBERT - эмбеддинг-модели для узбекского языка, основанной на современной архитектуре Transformer с расширенным контекстным окном (8192 токена). В малоресурсных и агглютинативных языках, таких как узбекский, ограниченные возможности обработки широкого контекста негативно влияют на эффективность моделей. Для решения этой проблемы был сформирован масштабный текстовый корпус на узбекской латинице, содержащий более 125 миллионов словоформ, и создан оптимизированный словарь, состоящий из 52 000 субсимвольных единиц (sub-words). Процесс обучения модели проходил в два этапа: на первом этапе модель обучалась «с нуля» методом маскированного языкового моделирования (Masked Language Modeling, MLM), а на втором - адаптировалась под семантический поиск посредством контролируемого тонкого обучения (Supervised Fine-Tuning, SFT) с использованием датасета из 30 000 вопросно-ответных пар. Благодаря применению технологий Flash Attention 2 и Unpadding удалось значительно повысить эффективность использования графических процессоров (GPU). Контекстное окно в 8192 токена позволяет анализировать объемные тексты, сохраняя их семантическую целостность. По завершении исследования разработанная модель и все её компоненты были выложены в открытый доступ для научного сообщества на платформе Hugging Face.
More by Mannon Ochilov
- PadSink-Track: A Calibrated Framework for Padding-Sink-Preserving, Alignment-Tracked Selective Cross-Attention Key–Value Cache Access in CPU-Based Whisper Speech RecognitionTechnologies · 2026
- A Cache-Aware Compression Framework: Deriving the Compression Target and Stopping Rule for Transformers on CPU-Class HardwareAI · 2026
- The Achievement of Speech Technologies in Enhancing the Rehabilitation of Hearing-Impaired PatientLecture notes in networks and systems · 2026
- Performance Evaluation of Parallel Programming Models for K-means Clustering on Parallel Computing SystemsInternational Siberian workshops and tutorials on electron devices and materials · 2026
