FastH3 Omni: видео по референсам H3 за 8 шагов с аудио

FastH3 Omni это референсно-обусловленный вариант MiniMax H3 от FastVideo: промпт плюс упорядоченные референсы изображений, видео и аудио превращаются в один клип с синхронизированным звуком, созданный за восемь проходов трансформера вместо 50 у базовой H3. Команда Hao AI Lab опубликовала веса и описание релиза 20 октября, а в той же коллекции доступны конверсии в один файл, готовые для ComfyUI.

Модель принимает до девяти изображений, трёх видеоклипов и трёх аудиоклипов, всего двенадцать референсов, и требует хотя бы одно изображение или видео. На выходе видео с аудио 32 кГц в стерео, 24 FPS, длиной 124, 243 или 362 кадра, то есть 5, 10 или 15 секунд.

Кадр из видео запуска, которое команда сгенерировала с помощью FastH3 Omni на FastVideo.

Референсы по позициям

Промпт адресует входы по позиции, а не по имени файла: <Picture 1>, <Video 1> и <Audio 1>, причём нумерация начинается заново для каждого типа. Собственная звуковая дорожка референсного видео помечается как аудиореференс прямо перед меткой видео, а отдельное аудио идёт последним. Поскольку референсы проходят через каждый шаг выборки, команда предоставляет выбор размера в ComfyUI: match масштабирует каждый референс до площади пикселей генерации, а max сохраняет короткую сторону 2048 px для точности идентичности при затратах в несколько раз выше.

5-секундный запрос с одним референсом изображения и одним референсом голоса. Диалог использует тембр аудиореференса, а аудио генерируется вместе с видео, а не добавляется потом.

Восемь проходов вместо пятидесяти

FastH3 Omni это дистиллированный ученик базовой H3, и релиз сохраняет текстовый энкодер, видео VAE и аудио VAE базовой H3; меняется только диффузионный трансформер. Выборка идёт при guidance 1.0 со сдвигом видео 12.0 и сдвигом аудио 3.0, то есть с теми же параметрами, с которыми поставляется шаблон ComfyUI.

На 27 сопоставимых нагрузках на восьми GPU GB200 команда сообщает о снижении сквозной задержки в 5,6–11,9 раза по сравнению с базовой H3 при сравнении полных рецептов обслуживания. Ниже выборка из опубликованной таблицы, каждое значение это среднее по трём сидам:

Команда также утверждает, что на отдельных задачах FastH3 Omni её стек UniServe достигает генерации в реальном времени при 768p для клипов длиной 5, 10 и 15 секунд. Опубликованные клипы это сопоставленные качественные сравнения, а не доказательство равенства результатов с базовой H3.

Один и тот же промпт, референс, сид и число GPU для нагрузки с 1 изображением и длительностью 5 секунд.

Изображение, видео и голосовой референс в одном 10-секундном запросе: 172.37 с на базовой H3, 19.75 с на FastH3 Omni.

Девять референсов изображений, 5-секундный запрос.

Запуск в ComfyUI

Репозиторий ComfyUI содержит конверсии в один файл, поэтому пакет пользовательских нод не нужен. Разместите одну диффузионную модель, один текстовый энкодер, видео VAE и аудио VAE:

Шаблон называется video_fasth3_ominiref_r2v и был добавлен в workflow_templates 20 октября. Он использует основную ноду обусловливания MiniMax H3: референс в видео с авторасширяемыми входами до девяти изображений, трёх видео и трёх отдельных аудио, а также парными звуковыми дорожками видео, и по умолчанию выполняет 8 шагов, guidance 1.0, MiniMaxH3SigmaShift со значением 12 для видео и 3 для аудио при 1344x768 и 124 кадрах.

Скачать рабочий процесс FastH3 Omni из референса в видео

Карточка модели отмечает, что ComfyUI использует собственную раскладку модели, сэмплер и рантайм-ядра, поэтому результаты могут отличаться от вывода FastVideo и UniServe.

Локальные и серверные профили

• Сервер: чекпоинт BF16 на GB200, B200, RTX PRO 6000 Blackwell и Hopper через UniServe, с его конфигурациями для работы с референсами.
• DGX Spark и RTX 5090: сборка NVFP4 QAD, обученная для исполнения NVFP4 на Blackwell, с рецептами для устройств из FastVideo cookbook.
• RTX 4090: сборка FP8 с послойным оффлоадом, поскольку у Ada нет аппаратной поддержки FP4.
• Декодер: опциональные NVFP4 VAE-декодеры в уровне качества на 36 слоёв и быстром уровне на 8 слоёв.

Для ComfyUI также доступны конверсия FP8 (23.1 ГБ) и конверсия NVFP4 QAD (13.8 ГБ) в виде отдельных репозиториев. Команда сообщает, что материал о локальном ИИ и релиз выйдут 21 октября.

В линейке FastH3

Базовая H3 выполняет 50 проходов трансформера для видео со звуком, что на одной GPU означает минуты на клип. FastH3 V2 дистиллировала это до восьми шагов, Trim удалила 8 из 50 блоков, чтобы уложиться в карты на 8 ГБ, а Omni добавляет референсный путь: изображения, клипы и голос поверх промпта при том же бюджете в восемь шагов. FastH3 Omni дообучалась совместно с Nuva Lab и Reactor в качестве партнёров по превью-запуску, а в релизе выражена благодарность команде NVIDIA FastGen.