Қазақ тілді LLM лидербордының алғашқы нәтижелері

• Қазақ тіліндегі MMLU: көпміндетті тілді түсінуді тексереді
• Қазақ тіліндегі GSM8K: математикалық логиканы тексереді
• Kazakh Constitution MC: құқықтық және азаматтық білімді тексереді
• Kazakh Dastur MC: мәдени мұра мен салт-дәстүрді түсінуді бағалайды
• Unified National Test MC: тарих, әдебиет, биология және басқа пәндерді қамтиды

Модельдерді салыстырудың алғашқы нәтижелері дайын екенін қуана хабарлаймыз!

• Барлық модель арасында OpenAI-дың әмбебап GPT-4o моделі сенімді түрде бірінші орында
• Open-source сегментінде қазақстандық ISSAI зертханасының LLaMA-3.1-KazLLM-1.0-8B моделі көш бастап тұр

Келесі қадамдар:

• ELO рейтингі бар офлайн арена шығару
• Нақты міндеттерге арналған күрделірек бенчмарктер қосу
• Арнайы instruction датасеттерін шығару

Толығырақ:

• Лидербордты көру
• Өз моделіңізді жіберу

Команда кері байланыс күтіп, қызығушылық танытқан барша адамды ынтымақтастыққа шақырады!