Қазақ тіліне арналған алғашқы офлайн LLM арена

Қазақ тіліне арналған офлайн LLM арена

Қауымдастығымыздың резиденттері Санжар Мұрзахметов, Санжар Үмбет, Бексұлтан Сағындық және Кирилл Якунин қазақ тіліне арналған алғашқы офлайн LLM аренаны іске қосты. Негізгі мақсат — келесі токенді генерациялауды ғана емес, мәдени контексті тұтас түсінуді тексеру.

Не жасалды:

• Мәдениетке бағытталған арнайы QA датасет жиналды
• Serper, Perplexity және LLM генерациясы қолданылып, лингвистермен бірге тақырыптар мен кілт сөздер жиналды
• Модельдер жұппен салыстырылды: алдымен GPT-4o бағалап, соңғы нәтиже Bradley–Terry моделімен шығарылды

Қазіргі нәтижелер:

• Google DeepMind-тың Gemma модельдері тұрақты түрде мықты нәтиже көрсетеді
• MBZUAI-дың Sherkala-8B моделі тіпті ірі модельдерден озып, екінші орын алды
• Nazarbayev University жанындағы ISSAI multiple-choice тапсырмаларында жақсы балл жинады, бірақ генерация бойынша ең әлсіз нәтижелердің бірін көрсетті