Исследователи предложили DiffusionART для дообучения генераторов изображений и видео

Авторы DiffusionART предлагают метод дообучения диффузионных моделей по оценке готовых изображений и видео. Такая оценка может поступать от «чёрного ящика»: не требуется дифференцируемая модель награды, через которую можно передать градиент. Для каждого запроса метод объединяет оценки нескольких результатов в общее направление улучшения, а дополнительный шаг с ограничением изменений помогает удерживать обучение от ухода слишком далеко от прежнего поведения модели.

Авторы утверждают, что подход обходится без подбора настройки EMA – скользящего среднего параметров, которое помогает стабилизировать один из сравниваемых методов, – и работает с меньшим числом образцов на запрос. В испытании на видеомодели HunyuanVideo-13B, где награды за визуальное качество и качество движения имели одинаковый вес, DiffusionART достиг поздних средних уровней награды DiffusionNFT и Flow-GRPO-Fast, затратив соответственно в 12,02 и 11,72 раза меньше GPU-часов. В этой постановке итоговая средняя награда при обучении была выше на 28,8% и 53,0%; это результаты эксперимента, а не оценка всех возможных задач генерации.