Google добавила в восьмое поколение TPU чип для конфиденциальных вычислений и двухкристальный 8i Max

Обе новинки собраны на уже существующих кристаллах. TPU 8tx использует кремний TPU 8t, который Google делала для обучения больших моделей, а TPU 8i Max состоит из двух чипов TPU 8i для инференса с низкой задержкой. Google объясняет это модульной архитектурой: упаковку, память, сеть и защиту можно менять, не дожидаясь полного цикла разработки нового чипа. Так за год в линейке появилось четыре варианта.

TPU 8tx рассчитан на банки, регулируемые компании и госструктуры, которые запускают модели и агентов на чувствительных данных. Обычное шифрование защищает данные при хранении и передаче по сети. Конфиденциальные вычисления закрывают последний этап: данные и веса модели остаются защищёнными на аппаратном уровне, пока идёт сам расчёт. В системе стоят кастомные хост-процессоры AMD и сеть Boardfly, разработанная для TPU 8i. По заявлению Google, производительность до двух раз выше, чем у TPU 8t, а защита почти не замедляет работу. На одной системе можно делать инференс, закрытое дообучение и дистилляцию, не перенося данные между кластерами.

TPU 8i Max отвечает на аппетиты агентов, которые держат в памяти большие кодовые базы, длинные видео и контексты на миллион токенов. Два кристалла в одном корпусе дают вдвое больше вычислительной мощности, SRAM и пропускной способности памяти HBM, чем у TPU 8i, и помещаются в ту же стойку. Для ориентира: у TPU 8i 288 ГБ HBM, 384 МБ SRAM и пропускная способность 8601 ГБ/с. Абсолютный объём HBM для Max компания не назвала.

Вместе с железом Google обновила софт, чтобы на TPU можно было переехать с привычными инструментами. TorchTPU запускает PyTorch нативно, появились бэкенды для vLLM и SGLang, а XLA Serving Engine получил открытый движок на C++ для обслуживания моделей на TPU, GPU и CPU. Agent Compute Engine выгружает состояние простаивающих агентных сессий и освобождает ускорители. TPU Sync, по данным Google, сокращает задержку передачи KV-cache более чем на 90%.

Google также рассказала, что проектирует чипы с помощью Gemini: раскладку компонентов на кристалле модель помогает готовить за часы вместо недель. Цены, регионы и дату общей доступности TPU 8tx и TPU 8i Max компания пока не раскрыла. По неофициальным данным, системы станут доступны в 2027 году.