Новый тест показал разрыв между людьми и мультимодальными моделями в понимании сцен

Scale Labs и Elorian представили Humanity's Sixth Sense для задач, где недостаточно назвать объекты в кадре: нужно понять, например, смогут ли разъехаться автомобили или что подсказывает поведение людей. По опубликованному описанию, тест включает 522 вопроса по 288 статичным сценам и 234 видеофрагментам. Авторы проверили на нём 25 мультимодальных моделей.

Как сообщает источник, контрольная группа людей ответила верно в 93,1% случаев, а лучший результат среди моделей, GPT-6 Astra, составил 53,6%; медиана моделей – 30,9%. В приведённом разборе более 8,5 тысячи неудачных ответов 94% ошибок отнесены к первичному зрительному восприятию: модель пропускала детали или теряла контекст. Дополнительные токены на рассуждение и попытка приблизить внимание модели к нужному участку изображения почти не помогли. Эти выводы относятся к описанному тесту, а не ко всем задачам компьютерного зрения.