GOAT AI озық open-source моделін шығарды

Кеше түнде MMLU және BigBench Hard метрикаларында озық нәтиже көрсеткен алғашқы LLaMA-2 fine-tune моделімізді шығардық. Модель open-source форматында қолжетімді, оны Hugging Face-тегі сілтемеден тікелей жүктеп, лайк басуға болады.

Сілтеме

Бұл ChatGPT сияқты AI ассистенттің ашық нұсқасы. Оны fine-tuning үшін немесе ғылыми мақсатта жергілікті құрылғыда қолдануға болады. Демо да төмендегі сілтемеде қолжетімді.

Бірнеше маңызды ерекшелік:

• Контекст көлемі: 4096
• Модель көлемі: 7B параметр
• Датасет көлемі: 72 мың диалог

Жұмысымыздың ерекшелігі неде? Біз деректерді мұқият тазалауға назар аудардық, бұл деректерді талдаудағы ғылыми тәсілдің ажырамас бөлігі. Деректерді бір рет қана тазаламай, жұмысымызды итеративті түрде жақсарта бердік.

Жақсы нәтижеге жетудегі негізгі қадамдардың бірі датасеттен ірі AI модельдерінің «Sorry, as an AI assistant I cannot...» секілді стандарт жауаптарын алып тастау болды. Осыдан кейін моделіміз қолжетімді 7 миллиард параметрлі модельдердің арасында үздік нәтиже көрсетті.

Әзірлеушілер командасында DSML KZ мүшелері бар:

• Ерзат Дулат @rlprompt
• Айбек Бекбаев @qaszjo
• Сонбэ Чан @Sungbae_Chun
• Джимми Ямазаки @myxik

Модельдің шығуына арналған блогтан қосымша техникалық мәлімет таба аласыз.