Жаңа бенчмарктер LLM модельдерін қазақ тілінде бағалайды

Қауымдастығымыздың мүшелері Санжар Мұрзахметов @stringersolo, Бексұлтан Сағындық @bsagyndyk және Кирилл Якунин @JenarosHat қазақ тілін түсіну, логикалық пайымдау және басқа ерекшеліктерді тексеретін бенчмарктер топтамасын шығарды.

1) Команда бірнеше танымал датасетті қазақ тіліне аударды:

• Қазақ тіліндегі MMLU: көпміндетті тілді түсінуді тексереді
• Қазақ тіліндегі GSM8K: математикалық логиканы тексереді

2) Қазақстанға арналған multiple-choice бенчмарктер жасалды:

• Kazakh Constitution MC: құқықтық және азаматтық білімді тексереді
• Kazakh Dastur MC: мәдени мұра мен салт-дәстүрді түсінуді бағалайды
• Unified National Test MC: тарих, әдебиет, биология және басқа пәндерді қамтиды

Команда осы бенчмарктер бойынша ашық лидерборд және қазақ тіліне әзірленген модельдерді тексеріп, салыстыруға арналған платформа жасап жатыр.

Жоба туралы толығырақ команданың LinkedIn жазбасынан оқуға болады.