pi-H3 : la vidéo MiniMax H3 en 2 à 4 étapes dans ComfyUI

ComfyUI Wikinews

Les adaptateurs pi-H3 ramènent la vidéo MiniMax H3 avec audio à 2 ou 4 étapes dans ComfyUI, avec un chemin expérimental sans décodeur VAE.

pi-H3 distille MiniMax H3 en un générateur vidéo à 2 ou 4 étapes avec audio synchronisé. Les poids, le code d'inférence et les nœuds ComfyUI sont sortis le 21 novembre. Les auteurs sont les chercheurs de Stanford Hansheng Chen, Gordon Wetzstein et Leonidas Guibas, ainsi que deux coauteurs qui ont réalisé une partie du travail chez Luma AI.

Four à pain en argile, 2 étapes en 1344x768, 5 secondes avec audio stéréo, issu de la galerie du projet.

Ce que cela vous apporte

1344x768, 24 fps, avec audiopi-H3 2 étapespi-H3 4 étapesSol-H3 4 étapes
Vidéo de 5 s3,81 s7,30 s9,48 s
Vidéo de 10 s9,16 s17,56 s24,31 s
Vidéo de 15 s18,58 s36,41 s44,96 s

De bout en bout sur un seul B200, de l'encodage du texte à la vidéo et l'audio décodés, en reprenant les chiffres des auteurs face aux valeurs publiées de Sol-H3.

Deux familles d'adaptateurs sont fournies : des versions simples en 2 ou 4 étapes qui décodent encore via le VAE H3, et des versions DWD qui prédisent les pixels lors de la dernière étape de débruitage et se passent entièrement du décodeur VAE. Les versions DWD existent en INT8 ConvRot pour ComfyUI. La version 1.0 a remplacé le raffineur DWD, d'un réseau convolutif à un transformer plus léger à attention fenêtrée, ce qui, selon les auteurs, donne un mouvement plus fluide dans les fins détails et une meilleure cohérence en 2 étapes.

L'exécuter dans ComfyUI

  1. Installez ComfyUI-piFlow via ComfyUI Manager, ou clonez-le dans custom_nodes. Il nécessite ComfyUI 0.45.0 ou plus récent, et demande de supprimer d'abord toute extension pi-H3 ou pi-Flow tierce.
  2. Chargez pi-H3-DWD.json ou pi-H3.json depuis le dossier workflows du dépôt. Le nœud pi-H3 Adapter bascule entre 2 et 4 étapes et définit les valeurs correspondantes du scheduler pi-Flow.
  3. Déposez pi_h3_2step_dwd_adapter_int8_convrot.safetensors (ou le fichier 4 étapes) dans models/loras/, et associez-le à minimax_h3_fl2va_pruned_int8_convrot.safetensors depuis Comfy-Org/MiniMax-H3. Le flux de travail DWD n'a besoin du VAE vidéo que pour les keyframes, et du VAE audio comme d'habitude.
RTX 3090, DWD 2 étapes, INT85 s10 s15 s
864x48015,5 s37,3 s69,2 s
1344x76838,5 s97,6 s186,1 s

Seul le tronc FL2VA est pris en charge : texte, première image, dernière image, ou les deux. Il n'existe pas d'adaptateur Ref2VA, donc le conditionnement par image de référence n'est pas possible.

Ce que rapportent les testeurs

  • Kijai a converti les deux adaptateurs vers les clés LoRA H3 standard pour ComfyUI et le qualifie de « meilleur en 2 étapes jusqu'ici » parmi les distillations récentes. Il est plus réservé sur DWD : avec le VAE Sol INT8, se passer du décodeur n'a fait gagner moins d'une seconde sur un clip de 5 secondes en 768p, et la sortie DWD semblait moins bonne que les images décodées par le VAE.
  • JohnDopamine a comparé le VAE et DWD sur le même prompt et le même bruit. DWD tenait mieux à 2 étapes, le VAE était meilleur à partir de 4 étapes, et sa conclusion était que l'adaptateur simple à 2 étapes suffit pour un usage général.
  • boop a rapporté que l'adaptateur 2 étapes rendait bien avec le VAE, avec un audio meilleur que prévu, bien que non testé encore sur des mouvements rapides.
  • Empiler d'autres LoRA H3 sur la variante DWD peut se retourner contre vous : elle entraîne aussi les blocs 46 à 49 via la tête pixel, donc les adaptateurs entraînés sans elle peuvent entrer en conflit (Kijai).
Club de jazz sous-marin

Une image issue d'un rendu de 14 secondes en 2 étapes sans décodeur VAE.

Club de jazz sous-marin, 2 étapes, sans décodeur VAE, 1344x768, 14 secondes.

L'obtenir

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
pi-H3 : la vidéo MiniMax H3 en 2 à 4 étapes dans ComfyUI | ComfyUI Wiki