Исследователи представили GroundingPI для поиска объектов роботами и системами вождения

Авторы GroundingPI начинают с задачи grounding: нужно сопоставить словесную цель с конкретным объектом и его положением на изображении. В тесной или загромождённой сцене это может быть небольшой предмет среди похожих, поэтому общего описания кадра недостаточно. Для управления роботом с обратной связью важна и скорость: система должна заново оценивать сцену по мере движения. Авторы указывают, что универсальные визуально-языковые и видеогенеративные основы моделей действия всё ещё ошибаются в таких условиях.

Предложенная модель содержит 4 млрд параметров и выдаёт точки и ограничивающие прямоугольники для найденных объектов. Координаты представлены в дискретном виде, как элементы общего словаря модели. Такая форма ответа позволяет передавать следующему компоненту не только описание предмета, но и его положение в кадре. Обучение сочетает мультимодальную и пространственную предобработку, дообучение с учителем и обучение с подкреплением методом GRPO; для разметки использованы открытые наборы и специально подготовленные потоки данных.

В работе GroundingPI сравнили с 44 базовыми системами на 34 тестах, охватывающих 11 навыков зрительного восприятия. Авторы сообщают средний результат 73,68% против 71,54% у более крупной GPT-6 Astra и заявляют лучший результат на этом наборе проверок. Это оценка именно поиска и локализации целей, а не готового робота: дальше исследователи отдельно проверяли, помогает ли новая визуальная основа решать прикладные задачи.

На RoboTwin 2.0, наборе испытаний для манипуляции предметами, GroundingPI в роли визуальной основы обошла все проверенные авторами распространённые альтернативы в четырёх условиях, отличающихся от обучающих. Максимальный относительный выигрыш над сильнейшей из них составил 24,8%. На RoboCasa-GR1 вариант с GroundingPI, обученный на 50% демонстраций, превзошёл сравниваемые системы, обученные на 75%. Речь идёт о результатах в конкретных тестовых средах, а не о подтверждённой надёжности робота в любом помещении.

Модель проверили и как визуальную основу для автономного вождения: на nuScenes средняя ошибка траектории в режиме open-loop составила 0,296 м. В таком тесте предсказание оценивают без проверки того, как последующие действия меняют дорожную ситуацию. Авторы также исследовали масштаб и состав предварительного обучения: при его расширении результаты в робототехнике и вождении росли. Среди типов данных они выделяют плотную разметку положений объектов как особенно полезную для обоих направлений, а распознавание текста на изображениях рассматривают как возможное дополнение.