DSML Reading Club #8: тілдік модельдерге арналған жады

Спикер: Иван Родькин

Бұл кездесуде Иван тілдік модельдерге арналған «жады» туралы айтып береді. Үш үлкен мақала мен олардың негізгі идеяларын талқылаймыз; Иван олардың екеуінің бірінші авторы.

Кездесуде талқылаймыз:

• Трансформерлердің кемшіліктері: квадраттық attention және есептеу шектеулері
• Сызықтық трансформерлердің артықшылықтары мен кемшіліктері: Mamba, RWKV, xLSTM және DeltaNet
• Recurrent Memory Transformer және неліктен дәл осы тәсіл: arxiv.org/abs/2207.06881
• Associative RMT: arxiv.org/abs/2407.04841
• Жадыдағы reasoning: arxiv.org/abs/2508.16745

Сейсенбі, 3 ақпан, Қазақстан уақытымен 17:00 Google Meet: meet.google.com/rrn-enzr-chz