Қазақ тіліне арналған алғашқы офлайн LLM арена

Қауымдастығымыздың резиденттері Санжар Мұрзахметов, Санжар Үмбет, Бексұлтан Сағындық және Кирилл Якунин қазақ тіліне арналған алғашқы офлайн LLM аренаны іске қосты. Негізгі мақсат — келесі токенді генерациялауды ғана емес, мәдени контексті тұтас түсінуді тексеру.

Не жасалды:

• Мәдениетке бағытталған арнайы QA датасет жиналды
• Serper, Perplexity және LLM генерациясы қолданылып, лингвистермен бірге тақырыптар мен кілт сөздер жиналды
• Модельдер жұппен салыстырылды: алдымен GPT-4o бағалап, соңғы нәтиже Bradley–Terry моделімен шығарылды

Қазіргі нәтижелер:

• Google DeepMind-тың Gemma модельдері тұрақты түрде мықты нәтиже көрсетеді
• MBZUAI-дың Sherkala-8B моделі тіпті ірі модельдерден озып, екінші орын алды
• Nazarbayev University жанындағы ISSAI multiple-choice тапсырмаларында жақсы балл жинады, бірақ генерация бойынша ең әлсіз нәтижелердің бірін көрсетті