Revolut сократила затраты на AI-помощников для кода за счёт собственных GPU

Сначала Revolut пробовала Gemini, затем Claude Code, но расходы на AI-инструменты заставили компанию ввести строгие лимиты. По словам руководителя инфраструктуры Дэвида Абитбола, отдельные инженеры тратили на них $1000 и даже $10 000 в месяц без сопоставимой отдачи. Ограниченный запас токенов влиял и на выбор задач: запросы к модели берегли для работы, которую считали наиболее сложной.

Компания перешла к самостоятельному запуску модели GLM от Z.ai: сперва использовала GLM-5.1, затем GLM-5.3. По расчёту Revolut, обслуживание GLM-5.1 обходилось примерно в $0,30 за миллион токенов и стоило около десятой части использования Codex или Claude Code. Абитбол оценивает сокращение затрат на инференс для задач программирования примерно в 90% менее чем за год. Это расчёт компании для её нагрузки, а не универсальная цена самостоятельного размещения модели.

Для обслуживания GLM-5.3 в масштабах команды Revolut задействовала 56 GPU Nvidia B200. Самостоятельный запуск такой модели требует значительной памяти: у GLM-5.1 около 754 млрд параметров всего, из которых при обработке токена активны примерно 40 млрд. Только хранение весов требует около 380 ГБ памяти GPU; на контекст каждого пользователя дополнительно уходит от 6 до 26 ГБ в зависимости от точности вычислений. За низкой ценой токена в этом случае стоит собственная инфраструктура.

Revolut настраивала параметры обслуживания модели и длину контекста, перешла на квантование NVFP4 и разделила обработку входного запроса и генерацию ответа. Абитбол считает контекст около 256 тысяч токенов практичнее окна в миллион токенов. После настроек компания получила время до первого токена менее трёх секунд при таком контексте и скорость генерации около 200 токенов в секунду. Для инженера задержка до начала ответа заметнее, чем дальнейший прирост скорости вывода.

Доступ к более дешёвым запросам позволил применять модель при отладке и работе с задачами в Jira и материалами Confluence. Revolut сообщает об улучшении времени написания кода на 60% и lead time, времени от начала работы до результата, на 70% после распространения AI-инструментов примерно на 2000 инженеров. GLM при этом не закрыла все сценарии: модель работает с текстом и плохо подходит для задач с интерфейсом, поэтому компания сохранила маршрутизацию запросов к другим моделям.