Skip to content
DSML.KZ
Publications

Article · Zenodo · July 3, 2026

OʻZBEK TILI MATNLARI UCHUN UNIGRAM TIL MODELINI ISHLAB CHIQISH: MUAMMO VA YECHINLAR

Botir Elov, Abdulla Abdullayev, Primova Mastura Hakim qizi

Botir Elov
Open via DOI

Abstract

Tabiiy tilni qayta ishlashda kontekstdagi keyingi qaysi soʻzni bashorat qilish vazifasi tilni modellashtirish deb ataladi. Usbu maqolada avvalo unigram modeli, ya'ni yagona soʻzlarga asoslangan model tavsiflanadi. Soʻngra, "noma'lum" soʻzlar deb nomlanuvchi modelda oʻrgatilmagan soʻzlar ehtimolligini bashorat qilish jarayoning murakkabligi va bu muammoni bartaraf qilish uchun Laplasni silliqlash usuli keltirladi. Soʻngra ushbu silliqlash usuli turli modellarning kombinatsiyasi boʻlgan model interpolyatsiyasi sifatida koʻrish mumkinligini namoyish qilinadi. Shuningdek, yuqoriroq n-gramm modellari va ushbu n-gramm modellarining model interpolyatsiyasining ta'sirini koʻrsatiladi. Ma'lumotlar toʻplami (dataset) sifatida Alisher Navoiyning "Navodir un-nihoya" devoni – oʻquv ma'lumotlar toʻplami (train data), "Badoyi-ul-bidoya" devoni va Pirimqul Qodirovning "Avlodlar dovoni" asari n-gram (n=1) modelida baholash toʻplami (evaluation text) sifatida tanlangan. Maqolada matnlar uchun oʻrtacha logarifmik ehtimollik baholash koʻrsatkichini hisoblash usullari va algortimlari keltirilgan boʻlib, unigram til modelini amalda qoʻllanilish ketma-ketligi tavsiflangan. Yakuniy natija shuni koʻrsatadiki, berilgan baholash matnlarining unigram modeli mos ravishda -11.98 va -14.86 oʻrtacha logarifmik ehtimolga ega boʻlgan. Oʻquv matni va 1-kitobning oʻrtacha logarifmik ehtimoli natijalarning oʻxshashligi ularning bir xil seriyaning birinchi va ikkinchi kitoblari ekanligida hisoblanadi. Biroq, Pirimqul Qodirovning "Avlodlar_dovoni" matnining unigram taqsimoti oʻquv taqsimotidan tubdan farq qiladi. Chunki ular turli vaqtlar, janrlar va turli mualliflarning ikki xil kitobidir.

Natural Language Processing TechniquesSpeech Recognition and SynthesisTopic Modelingunigram language modeln-gram language modelsLaplace smoothing

More by Botir Elov