Группа AI Frontiers завершила работу после перевода в Microsoft AI

AI Frontiers появилась внутри Microsoft Research в 2023 году. Один из её участников объясняет создание группы тем, что отдельному исследователю стало трудно проверять новые идеи с достаточной скоростью и убедительными базовыми сравнениями. Команда примерно из 50 человек собирала более согласованные исследовательские усилия, хотя доступность вычислительных ресурсов, по его словам, часто ограничивала работу. Это его взгляд на историю группы и причины последующих изменений.

Заметная часть работы AI Frontiers была посвящена агентам – системам, которые выполняют последовательность действий с помощью моделей и инструментов. Среди примеров автор называет AutoGen, фреймворк для координации агентов, и Fara, агента для работы с компьютерным интерфейсом. Параллельно часть команды в Нью-Йорке занималась более фундаментальными методами: в публикации перечислены Next Latent, Dion3 и Full Bandwidth Transformer. Таким образом, группа работала и над способами применения моделей, и над изменениями в самих моделях.

Команда также сделала общий репозиторий, по умолчанию открытый сотрудникам Microsoft Research. В нём, как пишет автор, находился код для предобучения моделей небольшого масштаба. Такой репозиторий помогает нескольким исследовательским группам опираться на одну рабочую базу вместо того, чтобы каждой собирать собственный конвейер обучения. Автор указывает, что ему известны и другие попытки создать подобные конвейеры внутри организации.

В начале сентября AI Frontiers перевели из Microsoft Research в Microsoft AI. Автор публикации связывает завершение работы группы с различием исследовательских приоритетов: по его оценке, новое руководство сосредоточено на масштабировании моделей и работе с данными, тогда как прежняя команда искала новые методы обучения и архитектурные решения. Это объяснение участника событий, а не изложение официальной позиции Microsoft. В качестве примера возможной отдачи от исследований он приводит Full Bandwidth Transformer, для которого рассматриваются варианты более эффективной работы модели; приведённое им сравнение опирается на эксперименты другой команды и не устанавливает результат для продуктов Microsoft.