Google DeepMind представила модель мира Genie 4 со звуком и управлением сценой в реальном времени

Модель мира в данном случае генерирует сцену, которая меняется в ответ на действия пользователя, а не заранее записанную последовательность кадров. В Genie 4 можно во время симуляции передвинуть камеру, сменить погоду или добавить персонажа текстовой командой. Модель продолжает строить происходящее после такой команды, сохраняя связь с уже созданной сценой. Это позволяет проверять разные варианты развития одного эпизода без запуска генерации с самого начала.

Genie 4 создаёт звук вместе с изображением: окружение получает подходящие шумы и музыку, а персонажи могут отвечать в интерактивном диалоге. Google также заявляет о более реалистичном поведении объектов и персонажей. В демонстрациях модель воспроизводит, среди прочего, столкновения и движение с учётом физических эффектов. Это заявленные возможности исследовательской модели: по отдельным примерам пока нельзя судить, насколько точно она воспроизводит физику в произвольной ситуации.

В работе системы участвуют модели семейства Gemini. По описанию Google, Gemini Omni помогает приблизить внешний вид и поведение симуляции к реальному миру, а другие модели Gemini поддерживают связность событий. Такое разделение задач важно для интерактивной сцены: после новой команды система должна согласовать изменения с тем, что уже произошло. В исследовательском эксперименте с Gemini Robotics модель Gemini разбивала задачу на шаги, которые Genie 4 затем симулировала в реальном времени.

По приведённым данным, Genie 4 сохраняет согласованную сцену до двух минут – вдвое дольше предшественницы. Долгие сессии всё же остаются слабым местом: возможны визуальный дрейф и нарушения постоянства объектов, когда уже появившаяся вещь меняется или исчезает. Это ограничивает сценарии, в которых среда должна долго оставаться одинаковой для пользователя или агента. Пока Google открывает исследовательскую версию лишь небольшой группе проверенных тестировщиков; позже компания планирует дать доступ подписчикам Google AI Ultra через Project Genie и партнёрам Gemini API и AI Studio.