MiniMax H3 объединила текст, изображения, видео и звук в одном генераторе роликов

Пользователь может одновременно передать H3 референс движения камеры, изображение нужного персонажа, образец голоса и текстовое описание итоговой сцены. Модель должна раздельно извлечь из материалов движение, идентичность и звуковые характеристики, а затем собрать их в новый ролик. На выходе она совместно генерирует изображение, речь, музыку и звуковые эффекты; звук по умолчанию стереофонический, максимальная длительность составляет 15 секунд, а разрешение — 2K. MiniMax ориентирует систему на рекламу, электронную коммерцию, дизайн продуктов, UI/UX и игры.

Ключевое отличие H3 от обычного набора генераторов — отказ от жёсткого деления на «текст в видео», перенос движения, референс персонажа, замену голоса и другие отдельные функции. Во время предобучения MiniMax смешивала задачи генерации изображений, видео и аудио с разными вариантами редактирования и переноса признаков. Аудио при этом не разделялось на речь, эффекты и музыку, а видео обучалось как с совместным звуком, так и с несколькими планами. Какие элементы исходников нужно сохранить, заменить или переосмыслить, пользователь описывает обычным языком, а не выбирает фиксированный режим продукта.

Чтобы столь разные входы поместились в единый контекст, MiniMax разработала Contextual Omni Representation — представление, которое словесно кодирует целевой ролик, референсы и отношения между ними. Исходная обработка одного набора материалов могла требовать около 100 тыс. токенов, после чего конвейер сжимает представление в среднем примерно до 4 тыс. токенов. Ещё один компонент, H3-VAE, повышает степень сжатия визуальной информации и, по данным компании, в четыре раза сокращает эффективную длину последовательности. Это уменьшает стоимость обучения и инференса и помогает работать с 2K.

Основой стала новая архитектура H3-Omni Transformer, а не схема предыдущей Hailuo-02. Из-за втрое выросшего разброса длин последовательностей и разных вычислительных профилей понимания и генерации разработчики применили гетерогенную тренировочную инфраструктуру и балансировку нагрузки между примерами. Заявленный прирост сквозной пропускной способности обучения составил почти 30%. Для 2K модель не использует отдельный апскейлер: механизм In-context Regeneration повторно генерирует изображение в высоком разрешении с учётом исходного полимодального контекста, чтобы лучше сохранять мелкий текст и локальные детали.

На момент анонса H3 заняла второе место в рейтинге Artificial Analysis для генерации видео со звуком: 1242 Elo против 1245 у Google Gemini Omni Flash. MiniMax заявляет, что секунда 2K-видео будет стоить менее трети цены распространённых конкурентов, а при 768p — менее половины, но точные тарифы ещё не опубликованы. Компания также признаёт ограничения в сложном полимодальном понимании, масштабе модели и детализации отдельных сцен. Веса обещано открыть в ближайшие дни с учётом юридических требований, в том числе для развития сторонней экосистемы и адаптации под китайские ускорители.