Авторы OpenGCUA открыли реализацию агента для работы с компьютером

Авторы называют generalist computer-use agent агентом, который сам выбирает, как наблюдать за состоянием компьютера, действовать и организовывать работу. Это шире сценария, где модель получает скриншот и отвечает очередным кликом: в OpenGCUA она может сочетать визуальный интерфейс с программными действиями. Такой выбор особенно заметен в многошаговых задачах, где результат одного действия определяет следующее.

Одна из ключевых возможностей реализации – исполнение кода. Агент может использовать промежуточные результаты в дальнейших операциях и применять навыки программирования непосредственно при работе с компьютером. Авторы также предлагают передать модели часть решений, которые обычно принимает жёстко заданная управляющая обвязка: какие наблюдения использовать и как учитывать состояние задачи. Поэтому OpenGCUA проверяет не только способность модели рассуждать, но и то, сколько свободы ей даёт среда исполнения.

На OSWorld-v2 полная конфигурация OpenGCUA улучшила результаты всех восьми оценённых моделей, среди которых GPT-6 Astra и Claude Opus 5. По сравнению с пакетным выполнением действий только через графический интерфейс средний частичный балл вырос на 19,6 пункта, а среднее число шагов на задачу в отчёте снизилось на 53%. Это сравнение конфигураций агента на бенчмарке, а не обещание такого же ускорения для любой задачи на личном компьютере.

Вместе с реализацией и промптами команда открыла траектории оценивания всех восьми моделей – последовательности их действий при решении задач. Они дают возможность смотреть не только на итоговый балл, но и на ход работы агента. Проект при этом остаётся в разработке: в первый выпуск вошли лишь предварительные версии обвязки для реальных устройств и SDK с единым программным интерфейсом для компьютеров, телефонов и браузеров.

Авторы отдельно проверили четыре задачи на настоящем Mac в своей обвязке. В выбранных запусках Qwen3.8-Max использовал в 19,4 раза больше учтённых токенов рассуждения, чем GPT-6 Astra. Небольшая выборка не даёт основания переносить это соотношение на все задачи, зато показывает, зачем проекту испытания вне бенчмарка: успешное выполнение на реальном устройстве ещё нужно сопоставлять с затратами на него.