FastH3 Omni : vidéo de référence H3 en 8 étapes avec audio synchronisé

FastH3 Omni est la variante conditionnée par références de MiniMax H3 de FastVideo : un prompt accompagné de références ordonnées d'images, de vidéos et d'audio forme un seul clip avec un son synchronisé, produit en huit évaluations du transformer au lieu des 50 de H3 de base. L'équipe du Hao AI Lab a publié les poids et l'article de lancement le 20 octobre, avec des conversions en fichier unique prêtes pour ComfyUI dans la même collection.

Le modèle accepte jusqu'à neuf images, trois clips vidéo et trois clips audio, soit douze références au total, et nécessite au moins une image ou une vidéo. La sortie est une vidéo avec un audio stéréo à 32 kHz à 24 i/s, en longueurs de 124, 243 ou 362 images, soit 5, 10 ou 15 secondes.

Une image de la vidéo de lancement, générée par l'équipe avec FastH3 Omni sur FastVideo.

Les références par position

Le prompt désigne les entrées par leur position, et non par leur nom de fichier : <Picture 1>, <Video 1> et <Audio 1>, avec une numérotation qui repart à zéro pour chaque type. La bande-son propre à une vidéo de référence est étiquetée comme référence audio juste avant l'étiquette de sa vidéo, et les audios autonomes viennent en dernier. Comme les références traversent chaque étape d'échantillonnage, l'équipe expose un choix de dimensionnement dans ComfyUI : match réduit chaque référence à la surface en pixels de la génération, tandis que max conserve un petit côté de 2048 px pour la fidélité d'identité, à un coût plusieurs fois supérieur.

Une requête de 5 secondes avec une référence image et une référence de voix. Le dialogue utilise le timbre de la référence audio et l'audio est généré avec la vidéo, et non ajouté après coup.

Huit évaluations au lieu de cinquante

FastH3 Omni est un étudiant distillé de H3 de base, et la publication conserve l'encodeur de texte, le VAE vidéo et le VAE audio de H3 de base ; seul le transformer de diffusion change. L'échantillonnage tourne à guidance 1.0 avec un shift vidéo de 12,0 et un shift audio de 3,0, le même contrat que celui fourni avec le modèle ComfyUI.

Sur 27 charges de travail appariées sur huit GPU GB200, l'équipe rapporte une latence de bout en bout de 5,6 à 11,9 fois inférieure à celle de H3 de base, en comparant des recettes de service complètes. Une sélection du tableau publié, chaque valeur étant la moyenne de trois graines :

L'équipe indique aussi que, sur certaines tâches FastH3 Omni, sa pile UniServe atteint la génération en temps réel en 768p pour des clips de 5, 10 et 15 secondes. Les clips publiés sont des comparaisons qualitatives appariées, et non des preuves d'une parité de sortie avec H3 de base.

Le même prompt, la même référence, la même graine et le même nombre de GPU pour la charge de travail à 1 image et 5 secondes.

Une image, une vidéo et une référence de voix dans une seule requête de 10 secondes : 172,37 s sur H3 de base, 19,75 s sur FastH3 Omni.

Neuf références image, requête de 5 secondes.

L'exécuter dans ComfyUI

Le référentiel ComfyUI contient des conversions en fichier unique, donc aucun package de nœuds personnalisés n'est nécessaire. Placez un modèle de diffusion, un encodeur de texte, le VAE vidéo et le VAE audio :

Le modèle est video_fasth3_ominiref_r2v, ajouté à workflow_templates le 20 octobre. Il utilise le nœud de conditionnement principal MiniMax H3 Référence vers Vidéo avec des entrées à croissance automatique pour jusqu'à neuf images, trois vidéos et trois audios autonomes, plus les bandes-son associées aux vidéos, et exécute 8 étapes, guidance 1.0, MiniMaxH3SigmaShift à 12 pour la vidéo et 3 pour l'audio, en 1344x768 et 124 images par défaut.

Télécharger le flux de travail FastH3 Omni référence vers vidéo

La fiche du modèle note que ComfyUI utilise sa propre disposition de modèle, son propre échantillonneur et ses propres noyaux d'exécution, donc les résultats peuvent différer de ceux de FastVideo et d'UniServe.

Profils locaux et serveur

• Serveur : checkpoint BF16 sur GB200, B200, RTX PRO 6000 Blackwell et Hopper via UniServe, avec ses configurations conditionnées par références.
• DGX Spark et RTX 5090 : la version NVFP4 QAD, entraînée pour l'exécution NVFP4 sur Blackwell, avec les recettes par appareil du cookbook FastVideo.
• RTX 4090 : la version FP8 avec offload couche par couche, car Ada n'a pas de matériel FP4.
• Décodeur : décodeurs VAE NVFP4 en option, en paliers qualité 36 couches et rapide 8 couches.

ComfyUI reçoit aussi une conversion FP8 (23,1 Go) et une conversion NVFP4 QAD (13,8 Go) dans des référentiels séparés. L'équipe annonce qu'un article et une publication sur l'IA locale suivront le 21 octobre.

Dans la gamme FastH3

H3 de base exécute 50 étapes de transformer pour la vidéo avec audio, soit plusieurs minutes par clip sur un seul GPU. FastH3 V2 a distillé cela en huit étapes, Trim a supprimé 8 des 50 blocs pour atteindre les cartes de 8 Go, et Omni ajoute le chemin de référence : images, clips et voix en plus du prompt, avec le même budget de huit étapes. FastH3 Omni a été post-entraîné avec Nuva Lab et Reactor comme partenaires de lancement en avant-première, et la publication crédite l'équipe NVIDIA FastGen.