Эффективность Lora в задачах обобщения текстов: сравнение моделей T5 и uzT5

Abstract

В данной работе представлен анализ применения метода низкоранговой адаптации (Low-Rank Adaptation, LoRA) для задачи одноязычной генерации текстов на узбекском языке. Мы использовали модели T5-base, T5-Large и uzT5, чтобы определить, какая из них показывает наилучшие результаты при использовании LoRA, а также сравнили их производительность с традиционной тонкой настройкой. В качестве набора данных использовали текст из 5000 новостей с платформы Kun.uz, из которых 4000 были использованы для обучения, а 1000 — для тестирования. Производительность моделей оценивалась с помощью метрик BLEU, ROUGE-1, ROUGE-2, ROUGE-L и ROUGE-LSUM. Результаты показали, что модель uzT5-base с параметрами LoRA равными r=256 и α=512, демонстрирует наивысшие показатели среди всех рассмотренных моделей, обеспечивая наилучшие значения метрик ROUGE и BLUE при умеренном количестве параметров для обучения, что делает её более вычислительно эффективной по сравнению с mT5-large.

More by Fatima Adilova

• Graph-based density-variation outlier removal for chronic disease prediction: A leakage-free benchmark and component-wise ablationResults in Engineering · 2026
• Monotonic System Framework for Globally Optimal Structuring of Complex Data2026
• Boosting LLM Adaptation: Superior Stability and Convergence via OLoRA+ Across Diverse NLP BenchmarksInternational Siberian workshops and tutorials on electron devices and materials · 2026
• Генерации графов заданной структуры: от глубоких нейронных сетей к квантовым моделям (на примере создания новых лекарств)Problems of Computational and Applied Mathematics · 2026