Новые бенчмарки оценивают LLM на казахском языке

Отличные новости для всех, кто интересуется адаптацией LLM под казахский язык!

Мемберы нашего сообщества Санжар Мурзахметов @stringersolo , Бексултан Сагындык @bsagyndyk и Кирилл Якунин @JenarosHat выпустили серию бенчмарков на проверку language understanding, ризонинга и прочих особенностей казахского языка.

1) Ребята перевели несколько популярных датасетов на казахский:
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.

2) Были созданы кастомные казахстанские multiple-choice (MC) бенчмарки
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы.

Команда работает над созданием открытого лидерборда по этим бенчмаркам и платформы, где можно будет тестировать и сравнивать модели, разработанные для казахского языка.

Подробнее о проекте можно почитать в их LinkedIn посте