AI Radar
Google запустила TPU в дата-центрах Meta через PyTorch-версию SGLang
Google запустила TPU в продакшене Meta через новую PyTorch-версию движка инференса SGLang. Для пользователей PyTorch это упрощает путь к чипам Google без перехода на JAX.
Что изменилось
SGLang получил версию для TPU, которая работает с PyTorch без прежней зависимости от JAX. Через неё чипы Google уже обслуживают AI-нагрузку в продакшене Meta. SGLang – движок инференса: он помогает запускать модели для обработки запросов после обучения. Раньше для работы этого движка на TPU использовался JAX, фреймворк Google для численных вычислений и машинного обучения.
Аналогичную PyTorch-версию анонсировали для другого распространённого движка инференса, vLLM; её представили как open source. Для команд, работающих с PyTorch, это открывает путь к TPU без переписывания большей части кода под JAX. Подробностей о масштабах нагрузки Meta и результатах сравнения с другими ускорителями в доступных данных нет.
Почему это важно
Команды с моделями на PyTorch получают ещё один вариант аппаратной платформы для инференса. Поддержка SGLang и vLLM снижает барьер для знакомства с TPU, хотя конкретные затраты на перенос зависят от сервиса.
Мнение редакции
Мнение редакцииДля TPU меняется точка входа: теперь её можно рассматривать рядом с привычным PyTorch-стеком, а не как отдельную инфраструктуру под JAX. О том, насколько легко перенести существующий сервис, скажут уже реальные внедрения.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.