Google открыла исходный код TorchTPU для запуска приложений PyTorch на своих чипах

PyTorch давно стал привычным инструментом для обучения и запуска моделей. Его развитие шло рядом с GPU Nvidia, которые уже были стандартным оборудованием для AI-исследований. Поэтому часть возможностей фреймворка исторически ориентирована на эту платформу. Google предлагает TorchTPU как способ запускать существующие приложения на своих тензорных процессорах, или TPU, без переписывания кода: для переноса, по заявлению компании, достаточно изменить конфигурацию.

Открытие исходного кода делает TorchTPU доступным для изучения и доработки за пределами Google. Для разработчика это прежде всего ещё один путь от модели на PyTorch к облачной инфраструктуре: приложение может остаться в знакомом фреймворке, а вычисления перейти на TPU в Google Cloud. Такая совместимость снижает объём работы при первой проверке переноса, хотя сама по себе не говорит, какой будет производительность конкретной модели.

Google также заявляет о совместной работе с Meta, Hugging Face, разработчиками vLLM из Inferact и SGLang из RadixArk. Цель состоит в том, чтобы библиотеки и возможности TorchTPU сочетались с инструментами, которые команды уже используют вокруг PyTorch. Для миграции компания выпустила TPU agent suite: этот набор помогает перенести приложение на её чипы и разобраться с ошибками по пути. Отдельно Google обновила LiteRT, инструмент для запуска моделей на телефонах, ноутбуках и встраиваемых устройствах, улучшив его работу с приложениями на PyTorch.

Amazon представила похожий маршрут днём ранее: TorchNeuron позволяет переносить приложения на чипы Trainium и в AWS без переписывания. Компания также собирается отправить изменения в основной проект PyTorch, чтобы ослабить привязку отдельных возможностей к оборудованию Nvidia. Подходы сходятся в одной практической точке: разработчикам предлагают менять вычислительную платформу, сохраняя код на PyTorch. При этом доступность альтернативного пути ещё не означает, что команды массово откажутся от GPU Nvidia.