Baidu представила модель ERNIE 5.5 Flash Preview на 280 млрд параметров и биржу моделей для разработчиков

Новую модель представил Сунь Тяньсян, который в июле возглавил в Baidu отдел разработки базовых моделей и впервые выступил публично. У ERNIE 5.5 Flash Preview 280 млрд параметров, из которых при обработке запроса активны 14 млрд. По словам Суня, модель в первую очередь улучшали для программирования, офисной интеллектуальной работы и дизайна. На демонстрации она написала на Python с нуля 116-секундный 2D-мультфильм про пеликана на велосипеде, который проезжает через 20 художественных стилей, а два агента под её управлением собрали аэропорт и самолёт через Python API в Blender.

За два дня до конференции Baidu показала ERNIE Evolve, систему автоматических исследований. Компания приводит два внутренних результата: за три дня система проверила три направления оптимизации детерминированного инференса и подняла пропускную способность до 133,7% от базовой, а в задаче ускорения декодирования перебрала семь направлений и довела производительность до 114,9%.

Прикладных моделей две, обе доступны по API на облачной платформе Qianfan. Первая, модель быстрого глубокого рассуждения, изначально создавалась для поиска Baidu. В ней используется собственный механизм разреженного внимания BSA, и компания заявляет, что он снижает стоимость инференса на 30%. Вторая генерирует видео с цифровыми людьми и их микромимикой, принимает текст до 4000 знаков и делает минуту видео за минуту. Baidu оценивает стоимость рекламного ролика такого качества в 0,2 юаня за секунду.

Отдельный запуск называется «Цыюаньсо»: это биржа больших моделей, где разработчики вызывают модели разных поставщиков. Площадка проверяет поставщиков, тестирует производительность и доступность моделей, а затем регулярно выборочно контролирует качество сервиса. За месяц работы, по данным Baidu, на ней собралось больше 100 источников моделей, а ежедневная нагрузка достигла 50 млн вызовов и 700 млрд токенов.

В инфраструктуре Baidu анонсировала суперузел Tianchi на 1024 ускорителя, который выйдет на рынок в следующем году. Чипы Kunlun на архитектуре M появятся в этом и следующем году, на архитектуре N в 2028-м. Облачный сервис песочниц для агентов рассчитан на миллионы одновременных запусков.

Робин Ли посвятил выступление «умным организациям», где агенты работают как цифровые сотрудники. Внутри Baidu число агентов за год выросло с 5 тысяч до 37 тысяч, а количество выполненных ими задач с 84 тысяч до более чем миллиона в неделю. Офисный агент Baidu Dazi, по внутренней оценке компании, проходит приёмку с первого раза в 88,2% сложных многошаговых задач против 67,6% раньше. Все цифры взяты из презентации Baidu, независимых замеров пока нет.