AWS выпустила TorchNeuron для запуска PyTorch-приложений на Trainium

TorchNeuron работает с PyTorch, фреймворком, на котором разработчики строят, обучают и запускают модели. AWS утверждает, что для переноса написанного на PyTorch приложения на Trainium достаточно изменить одну строку конфигурации, без переписывания кода. Это попытка убрать препятствие ещё до сравнения цен и производительности: стартапу проще рассматривать другой чип, если ради первого запуска не нужно менять привычный стек.

Важность совместимости связана с положением PyTorch в AI-разработке. По оценке Amazon, на нём написано около 85% AI-приложений. Nvidia годами обеспечивала поддержку таких приложений через CUDA, программную платформу для работы с её GPU. В результате выбор знакомых инструментов часто ведёт и к выбору оборудования Nvidia. TorchNeuron даёт AWS способ предложить Trainium, не требуя от разработчиков отказаться от PyTorch.

Переключение оборудования через конфигурацию само по себе не уникально: пользователи PyTorch могут похожим образом переносить приложения на GPU AMD или чипы Apple. AWS делает ставку ещё и на облачную среду вокруг Trainium. Компания предлагает стартапам использовать одну платформу для обучения модели и инференса, то есть обработки запросов уже обученной моделью, вместе с остальными облачными сервисами, которые понадобятся по мере роста продукта.

Экономический аргумент AWS касается всей нагрузки, а не минимальной цены за отдельный токен. В качестве примера компания приводит голосовой AI-сервис Deepgram: по её данным, после перехода на Trainium с поддержкой PyTorch сервис стал обрабатывать на 70% больше аудио на каждый потраченный доллар при точности, пригодной для продакшена. Это пример конкретной нагрузки, а не обещание такого же результата для любой модели или приложения.

Amazon также намерена передать изменения в основной проект PyTorch. Цель, которую называет компания, состоит в том, чтобы убрать из фреймворка код, привязывающий его к определённым чипам, и упростить работу с разным оборудованием не только пользователям Trainium. При этом лёгкость переноса и лёгкость эксплуатации не одно и то же: после запуска остаются вопросы производительности и настройки конкретной модели. Ответ на них даст работа приложений, а не одна строка конфигурации.