Skip to content
DSML.KZ
Publications

Article · Вестник Алматинского университета энергетики и связи · September 30, 2023

ҚАЗАҚ ТІЛІНДЕГІ ҚОЛЖАЗБА МӘТІНДЕРІНІҢ МӘЛІМЕТТЕР ҚОРЫН ҚҰРУ МЕН ТАНУ

«Әл-Фараби атындағы Қазақ Ұлттық университеті», Алматы, Қазақстан, Назгуль Тойганбаева, Galymzhan S. Abdimanap, ҚазМұнайГаз Инжиниринг» ЖШС, Астана, Қазақстан, Anel N. Alimova, ҚазМұнайГаз Инжиниринг» ЖШС, Астана, Қазақстан

Galymzhan Abdimanap
Open via DOI

Abstract

Мақалада орыс және қазақ тілдеріндегі қолжазбаларды тану және өңдеу міндетін шешу үшін машиналық оқытудың заманауи әдістерін пайдалана отырып бағдарламалық қамтамасыз етуді әзірлеу қарастырылды. Қолжазба мәтіндерін тануға арналған машиналық оқытуды қолданған шешімдерге шолу және талдау жасалды. Сонымен қатар, генетикалық алгоритм негізіндегі кескінді сегменттеу және нейрондық желі негізінде кириллицада қолмен жазылған мәтінді тану моделі қарастырылған. Терең оқытуға негізделген модельдердің жетістігі ең жаңа архитектураларға және ауқымды аннотацияланған деректердің қол жетімділігіне байланысты болды. Осы нәтижелерге сүйене отырып бұл мақалада қазақ тіліндегі қолжазба мәтінін тану мәселелері қарастырылады. Берілген мақалада жасанды нейрондық желі негізінде кириллицада қолмен жазылған мәтінді тану моделі қарастырылған. Бұл нейрондық желінің архитектурасы конволюциялық нейрондық желі қабаттарынан тұрады (ағылш. Convolutional neural network, CNN) және рекурренттік нейрондық желі (ағылш. Recurrent neural network, RNN), сондай-ақ коннекциялық уақыт жіктемесі (ағылш. Мәтінді соңғы нұсқаға апаратын Connectionist Temporal Classification, CTC). Бұл модель біз жинаған қолжазба мәтіндерінің датасетінде оқытылып, символдарды тану бойынша 90% дәлдік нәтижесін берді. Ағылшын, орыс, қазақ тілдерінде қолжазба сөздерінің деректор қорына шолу жасалды. Kazakh Offline Handwritten Text Dataset (KOHTD) деп аталатын қазақ тіліндегі оффлайн қолжазба мәтіндерінің үлкен деректер қоры негізінде тәжірибе жүргізілді. Нейрондық желілердің мүмкіндіктерін пайдаланып, бұрыннан бар толық емес деректер жиынтығында қолжазбаны тану үйретілді. Қолжазба мәтінін тану нәтижелерін тексеру пайызбен жүзеге асырылады. Барлық модельдер Python және Tensorflow, Keras, OpenMP Matplotlib кітапханаларының көмегімен жүзеге асырылды. Қазақ тіліндегі қолжазба мәтіндерін тану пошта орталықтарының жұмысын автоматтандыруға мүмкіндік береді. KOHTD қолжазба мәліметтер қоры негізінде машиналық оқытудың әртүрлі әдістерімен тәжірибе жұмыстары жүргізілді және сынақ деректерінде келесі нәтижелер алынды: Puigcever CER - 8.01%, WER - 26,34%; Bluche CER - 8,36%, WER- 28,95% и SimpleHTR CER - 2,45%, WER- 11,09%.

Handwritten Text Recognition TechniquesVehicle License Plate RecognitionAdvanced Neural Network Applicationshandwriting recognitionKazakh languagehandwritten text segmentation

More by Galymzhan Abdimanap