TaoMate-H3-FL2VA : LoRA streaming première et dernière image

Le 15 octobre, l'équipe TaoLive AIGC d'Alibaba a publié TaoMate-H3-FL2VA, un LoRA en 3 étapes qui ajoute le contrôle de la première et de la dernière image au runtime streaming TaoMate-H3 pour MiniMax H3 (poids | code). L'équipe le présente comme « le premier modèle streaming temps réel première/dernière image vers audio-vidéo (FL2VA) à notre connaissance » : la génération reste blockwise et conserve toujours un cache KV audio-vidéo persistant, mais le clip doit désormais se terminer sur une dernière image choisie tout en démarrant à partir d'une première image choisie.

Aperçu officiel de l'exemple FL2VA seated_001 : un clip streaming de 30 secondes généré à partir de la première et de la dernière image clé.

La version T2AV antérieure générait uniquement à partir de prompts. FL2VA ajoute une échéance globale de point final au même runtime, de sorte que les blocs de débruitage en trois étapes doivent atteindre l'image clé finale tout en gardant la parole, les effets sonores et la vidéo sur une seule chronologie synchronisée.

Comparaison officielle de 30 secondes pour seated_001 : 770 images générées sur trois requêtes streaming continues.

Ce qui a été publié

• Adaptateur LoRA FL2VA sur TaoLiveAIGC/TaoMate-H3-FL2VA : rang 128, alpha 128, poids du générateur en ligne step-300 conservés en float32. L'adaptateur présente la même structure à trois fichiers que la version T2AV (config.json, adapter_config.json, adapter_model.safetensors), avec l'état de l'optimiseur, l'EMA et les modèles de score réservés à l'entraînement exclus. L'adaptateur T2AV était le checkpoint EMA du générateur step-3000.
• Un sous-projet d'inférence FL2VA dédié dans src/taomate-fl2av du référentiel TaoMate-H3, avec un exemple complet, seated_001 (une présentation assise dans un salon familial).

Les trois modes tournent à 24 fps et en 768x1376 avec un débruitage en trois étapes, une fenêtre AV-KV propre récente de sept éléments et un décodage du clip entier en une seule passe. L'exécution documentée de 30 secondes utilise le LoRA du générateur en ligne step-300, un bloc final de 85 images et un teacher Base10 figé pour l'audio.

Le cas d'exemple fournit ses deux images clés, de sorte que les entrées de conditionnement font partie de l'exécution mesurée plutôt que d'être décrites uniquement dans le README :

L'exécuter dans ComfyUI

Le chemin FL2VA existe déjà dans le cœur de ComfyUI. Le nœud MiniMax H3 Image vers Vidéo prend des entrées optionnelles first_frame et last_frame en plus du prompt, de la largeur, de la hauteur et de la longueur en images, et renvoie le conditionnement positif ainsi qu'un latent audio-vidéo ; il gère à la fois le conditionnement t2va et fl2va. Aucun runtime streaming, lanceur stage-parallel ou configuration multi-GPU n'est nécessaire pour utiliser l'adaptateur en génération locale. L'adaptateur lui-même doit être au format de clés ComfyUI, et des conversions communautaires sont apparues quelques heures après la publication :

• Le référentiel MiniMax-H3-experimental de Kijai contient minimax_h3_taomate_fl2va_3step_avg_rank_19_bf16.safetensors (environ 176 Mo), une version à rang moyenné placée à côté des autres LoRA expérimentaux MiniMax H3.
• austinit/TaoMate-H3-FL2VA-ComfyUI publie à la fois une version BF16 complète de rang 128 (1,24 Go) et une version BF16 de rang moyen 19 (169 Mo). La personne qui a mis en ligne recommande de démarrer à 3 étapes, CFG 1.0, force du LoRA 1.0 et échantillonneur Euler, et signale que la version plus petite fonctionne normalement lors des tests.
• Robert1212star/TaoMate-H3-3Step-ComfyUI, le référentiel qui hébergeait déjà la conversion T2AV, a ajouté les poids FL2VA en BF16 (environ 1,24 Go) le jour même.

Réaction de la communauté

Les discussions sur r/StableDiffusion s'appuient sur la famille TaoMate en 3 étapes comme accélérateur MiniMax H3 au quotidien : un commentateur la qualifie de LoRA incontournable pour « 99 % des générations », et un autre signale un mouvement plus naturel après avoir réduit la force du LoRA à 0,6 et être passé à l'échantillonneur Beta avec er_sde. D'autres préfèrent l'adaptateur T2AV antérieur lorsqu'ils l'utilisent comme passe d'affinage. Les mouvements rapides et amples restent le point faible connu de la famille : des commentateurs signalent que les danses et les plans d'action soutenus se dégradent, ce qui correspond aussi à l'article sur T2AV. Un testeur a noté que la carte de l'adaptateur FL2VA indique optimizer_step: 300, contre l'étape 3000 pour la version T2AV, de sorte que le nouvel adaptateur correspond à une exécution plus courte plutôt que plus longue.

Disponibilité

Le runtime officiel est réservé à Linux et cible les GPU NVIDIA Hopper (SM90) ; le référentiel documente l'exemple FL2VA comme une exécution mono-nœud avec un parallélisme de séquence TP2 et SP4 sur huit GPU, ainsi que l'inférence mono-nœud pour les configurations à 4 et 8 GPU. Les utilisateurs de ComfyUI n'ont besoin que du Modèle de base MiniMax H3 plus l'une des conversions LoRA ci-dessus. Les poids Référence vers audio-vidéo (Ref2AV) de la même famille sont toujours indiqués comme en attente.