Спикер: Иван Родькин

На этой встрече Иван расскажет нам про "память" для языковых моделей. Обсудим три большие статьи и основные идеи оттуда, Иван первый автор в двух из них.

На встрече обсудим:
• Минусы трансформеров: квадратичный attention и вычислительные ограничения трансформеров
• Минусы и плюсы линейных трансформеров: Mamba / RWKV / xLSTM / DeltaNet
• Recurrent Memory Transformer (RMT) и почему именно он: arxiv.org/abs/2207.06881
• Associative RMT: arxiv.org/abs/2407.04841
• Reasoning в памяти: arxiv.org/abs/2508.16745

Вторник, 3 февраля, 17:00 KZ Time
Google Meet: meet.google.com/rrn-enzr-chz