pi-H3 : la vidéo MiniMax H3 en 2 à 4 étapes dans ComfyUI
Les adaptateurs pi-H3 ramènent la vidéo MiniMax H3 avec audio à 2 ou 4 étapes dans ComfyUI, avec un chemin expérimental sans décodeur VAE.
Four à pain en argile, 2 étapes en 1344x768, 5 secondes avec audio stéréo, issu de la galerie du projet.
Ce que cela vous apporte
| 1344x768, 24 fps, avec audio | pi-H3 2 étapes | pi-H3 4 étapes | Sol-H3 4 étapes |
|---|---|---|---|
| Vidéo de 5 s | 3,81 s | 7,30 s | 9,48 s |
| Vidéo de 10 s | 9,16 s | 17,56 s | 24,31 s |
| Vidéo de 15 s | 18,58 s | 36,41 s | 44,96 s |
De bout en bout sur un seul B200, de l'encodage du texte à la vidéo et l'audio décodés, en reprenant les chiffres des auteurs face aux valeurs publiées de Sol-H3.
Deux familles d'adaptateurs sont fournies : des versions simples en 2 ou 4 étapes qui décodent encore via le VAE H3, et des versions DWD qui prédisent les pixels lors de la dernière étape de débruitage et se passent entièrement du décodeur VAE. Les versions DWD existent en INT8 ConvRot pour ComfyUI. La version 1.0 a remplacé le raffineur DWD, d'un réseau convolutif à un transformer plus léger à attention fenêtrée, ce qui, selon les auteurs, donne un mouvement plus fluide dans les fins détails et une meilleure cohérence en 2 étapes.
L'exécuter dans ComfyUI
- Installez ComfyUI-piFlow via ComfyUI Manager, ou clonez-le dans
custom_nodes. Il nécessite ComfyUI 0.45.0 ou plus récent, et demande de supprimer d'abord toute extension pi-H3 ou pi-Flow tierce. - Chargez
pi-H3-DWD.jsonoupi-H3.jsondepuis le dossierworkflowsdu dépôt. Le nœud pi-H3 Adapter bascule entre 2 et 4 étapes et définit les valeurs correspondantes du scheduler pi-Flow. - Déposez
pi_h3_2step_dwd_adapter_int8_convrot.safetensors(ou le fichier 4 étapes) dansmodels/loras/, et associez-le àminimax_h3_fl2va_pruned_int8_convrot.safetensorsdepuis Comfy-Org/MiniMax-H3. Le flux de travail DWD n'a besoin du VAE vidéo que pour les keyframes, et du VAE audio comme d'habitude.
| RTX 3090, DWD 2 étapes, INT8 | 5 s | 10 s | 15 s |
|---|---|---|---|
| 864x480 | 15,5 s | 37,3 s | 69,2 s |
| 1344x768 | 38,5 s | 97,6 s | 186,1 s |
Seul le tronc FL2VA est pris en charge : texte, première image, dernière image, ou les deux. Il n'existe pas d'adaptateur Ref2VA, donc le conditionnement par image de référence n'est pas possible.
Ce que rapportent les testeurs
- Kijai a converti les deux adaptateurs vers les clés LoRA H3 standard pour ComfyUI et le qualifie de « meilleur en 2 étapes jusqu'ici » parmi les distillations récentes. Il est plus réservé sur DWD : avec le VAE Sol INT8, se passer du décodeur n'a fait gagner moins d'une seconde sur un clip de 5 secondes en 768p, et la sortie DWD semblait moins bonne que les images décodées par le VAE.
- JohnDopamine a comparé le VAE et DWD sur le même prompt et le même bruit. DWD tenait mieux à 2 étapes, le VAE était meilleur à partir de 4 étapes, et sa conclusion était que l'adaptateur simple à 2 étapes suffit pour un usage général.
- boop a rapporté que l'adaptateur 2 étapes rendait bien avec le VAE, avec un audio meilleur que prévu, bien que non testé encore sur des mouvements rapides.
- Empiler d'autres LoRA H3 sur la variante DWD peut se retourner contre vous : elle entraîne aussi les blocs 46 à 49 via la tête pixel, donc les adaptateurs entraînés sans elle peuvent entrer en conflit (Kijai).
Une image issue d'un rendu de 14 secondes en 2 étapes sans décodeur VAE.
Club de jazz sous-marin, 2 étapes, sans décodeur VAE, 1344x768, 14 secondes.
L'obtenir
- Poids et adaptateurs : Lakonik/pi-H3
- Page du projet avec les chiffres de vitesse et les galeries : hanshengchen.com/blog/pi-h3
- Flux de travail ComfyUI, liste des nœuds et emplacement des fichiers : docs ComfyUI-piFlow
- Essayez sans installer : Space pi-H3
- Conversions LoRA ComfyUI prêtes à l'emploi : Kijai/MiniMax-H3_comfy
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.