News

Ранее мы писали о том, что мемберы нашего сообщества создали бенчмарки на проверку больших языковых моделей на различных датасетах казахского языка
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы

Рады вам сообщеить, что первые результаты сравнения моделей уже доступны!
• Первое место среди всех моделей уверенно держит универсальная модель от OpenAI GPT-4o
• В опен-сорс сегменте лидирует разработка казахстанской лаборатории ISSAI с моделью LLaMA-3.1-KazLLM-1.0-8B

Следующие шаги:
• Релиз оффлайн арены с ELO
• Более сложные бенчмарки для реальных задач
• Релиз кастомных instruct датасетов

Подробнее:
• ознакомиться с лидербордом
• засабмитить свою модель

Ребята ждут фидбек и зовут всех заинтересованных к сотрудничеству!

Отличные новости для всех, кто интересуется адаптацией LLM под казахский язык!

Мемберы нашего сообщества Санжар Мурзахметов @stringersolo , Бексултан Сагындык @bsagyndyk и Кирилл Якунин @JenarosHat выпустили серию бенчмарков на проверку language understanding, ризонинга и прочих особенностей казахского языка.

1) Ребята перевели несколько популярных датасетов на казахский:
• MMLU на казахском: Проверка мультизадачного языкового понимания.
• GSM8K на казахском: Тестирование математической логики.

2) Были созданы кастомные казахстанские multiple-choice (MC) бенчмарки
• Kazakh Constitution MC: Проверка юридических и гражданских знаний.
• Kazakh Dastur MC: Понимание культурного наследия и обычаев.
• Unified National Test MC: История, литература, биология и другие предметы.

Команда работает над созданием открытого лидерборда по этим бенчмаркам и платформы, где можно будет тестировать и сравнивать модели, разработанные для казахского языка.

Подробнее о проекте можно почитать в их LinkedIn посте

Поздравляем нашего товарища из DSML KZ @zangir_iklassov@zangir_iklassov с успешной защитой PhD диссертации! 🎉
🎉

Зангир исследовал, как нейронные сети и reinforcement learning могут ускорить поиск решений комбинаторных задач (маршрутизация, управление ресурсами, планирование) и представил следующие проекты:

• Новый подход обучения для планирования производства, где сложность задач повышается динамично, что улучшает обучение моделей.
• RL framework для решения задач маршрутизации с учетом стохастического времени перемещения по графу.
• Новая стратегия самонаправленного поиска по использованию больших языковых моделей для эффективного решения комбинаторных задачах.

Данные работы были опубликованы в IJCAI23, ACML23, IEEE Access, NeurIPS24.JCAI23, ACML23, IEEE Access, NeurIPS24.

MBZUAI - первый в мире университет, посвященный искусственному интеллекту, открытый в 2019 году в Абу-Даби и входящий в топ-20 по направлению AI/ML. Зангир стал третьим успешно защитившимся PhD кандидатом в истории MBZUAI!

Кстати, недавно стартовал прием документов на программы магистратуры и PhD в MBZUAI на осень 2025 года. В университете есть пять направлений: ML, CV, NLP, CS и Robotics. Дедлайн подачи первого батча заявок: 15 января 2025.