AI Radar
Авторы VideoJev представили модели для быстрого поиска событий и ответов по видео
Авторы VideoJev предложили семейство моделей, которые находят события во времени и отвечают на вопросы по видео без последовательной генерации каждого ответа. По их тестам, такой подход ускоряет вывод и сохраняет качество ответов на вопросы на уровне исходных моделей в режиме Thinking.
Что изменилось
Вместо последовательной генерации ответа VideoJev использует общую выходную часть модели, которая сопоставляет видео с вариантами текста и временными интервалами. Так система может либо выбрать ответ на вопрос о ролике, либо указать отрезок, где произошло нужное событие. Для агента это готовые структурированные результаты, которые можно использовать при выборе следующего действия.
Авторы предусмотрели повторное использование обработки видео: Cached inference обслуживает новые запросы к уже просмотренному материалу, а Joint inference обрабатывает несколько запросов за один проход. По их результатам, версии VideoJev-4B и VideoJev-35B-A3B улучшили средний mIoU, метрику совпадения найденных и целевых временных отрезков, на 6,7 и 10,8 пункта относительно исходных моделей на трёх тестах. Указанное ускорение для этих задач составляет 2,8–3,1 раза; на четырёх тестах вопросов по видео авторы сообщают о сопоставимом качестве с исходными моделями в режиме Thinking и ускорении более чем в 100 раз.
Почему это важно
Видеоагентам нужны своевременные решения, а не только подробные описания ролика. VideoJev предлагает получать ответы и границы событий в одном формате, повторно используя вычисления при новых запросах к тому же видео.
Мнение редакции
Мнение редакцииВ видеозадачах агенту нередко приходится возвращаться к уже просмотренным кадрам с новым вопросом. Если представление видео можно использовать повторно, очередное решение не требует заново выполнять всю визуальную обработку. Именно этот сценарий делает устройство инференса VideoJev не менее интересным, чем точность ответов.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.