News

Спикер: Иван Родькин

На этой встрече Иван расскажет нам про "память" для языковых моделей. Обсудим три большие статьи и основные идеи оттуда, Иван первый автор в двух из них.

На встрече обсудим:
• Минусы трансформеров: квадратичный attention и вычислительные ограничения трансформеров
• Минусы и плюсы линейных трансформеров: Mamba / RWKV / xLSTM / DeltaNet
• Recurrent Memory Transformer (RMT) и почему именно он: arxiv.org/abs/2207.06881
• Associative RMT: arxiv.org/abs/2407.04841
• Reasoning в памяти: arxiv.org/abs/2508.16745

Вторник, 3 февраля, 17:00 KZ Time
Google Meet: meet.google.com/rrn-enzr-chz

SemEval - международная серия воркшопов и соревнований по NLP.
Task 13С - классификация авторства кода (4 класса: Human; AI; Hybrid; Adversarial AI)

Решение Агзама и Ералы: Multi-Modal Ensemble, который анализирует код с трёх сторон: семантику кода (через UniXcoder с Multiple Instance Learning для работы с длинными файлами), текстовые паттерны (модель MazgaBERT, выделяющая характерные шаблоны) и статистические аномалии (XGBoost на ручных признаках стиля и структуры кода).

Поздравляем наших юных резидентов и желаем им еще больше побед!

Для нашего комьюнити особенно приятно, что команда из Казахстана получила spotlight talk в рамках воркшопа Foundation models for brain and body. Аяна представила решение EEG Foundation Challenge на месте, в Сан-Диего, а Ануар подключился дистанционно из-за визовых сложностей.

После доклада состоялась панельная дискуссия о будущем brain-computer interfaces и анализа мозговой активности, которую модерировал Алекс Грэмфорт - research science director в Meta и один из создателей scikit-learn.

📅 Во вторник, 16 декабря, в 12:00 по времени Казахстана
Аяна и Ануар подробно расскажут о своем решении EEG Foundation Challenge: поднимем архитектуру, данные, ключевые инсайты и то, как это все связано с практикой ML. Будет очень прикладной разбор для всех, кто интересуется ML для нейро и биосигналов

Ccылка на мит: meet.google.com/vie-gohs-wnr