H3 MultiRef Mise à jour 6 : flux de travail Music Video et AV

ComfyUI Wikinews

La mise à jour 6 de ComfyUI H3 Motion Context MultiRef reconstruit les flux de travail MiniMax H3 : une chaîne Music Video à 20 pistes et une extension AV avec audio sans raccord.

H3 Motion Context MultiRef a publié la mise à jour 6 le 17 août. Ce fork de ComfyUI-H3-Motion-Context reconstruit les deux flux de travail de longue durée, Music Video et AV Extension, sous forme de chaînes direct-latent sans checkpoint qui diffusent le résultat final directement dans VideoHelperSuite, supprimant ainsi la lourde allocation de RAM pour le film complet qu'exigeaient les anciens graphes H3 de longue durée.

La démo music-video incluse : six clips générés à partir de deux images de référence autour d'une chanson maîtresse.

Nouveautés de la mise à jour 6

  • Chaînes direct-latent sans checkpoint. Les deux flux de travail de longue durée transmettent désormais la fin du latent vidéo produit par chaque sampler directement au nœud de contexte masqué suivant. Les nœuds de checkpoint disque de la mise à jour 5 ne sont plus enregistrés.
  • Sortie en streaming direct. Les nouveaux nœuds de sortie finale décodent un clip à la fois et diffusent les images terminées dans VideoHelperSuite au lieu de matérialiser un tensor IMAGE final complet. Le chemin connu pour être gourmand en RAM n'est plus exposé.
  • Timing AV exact. L'assemblage audio final utilise les bornes d'échantillons absolues de la timeline, évitant la dérive d'un échantillon au niveau des raccords à des fréquences telles que 44,1 kHz. Les petits déficits de la grille audio H3 sont recalés temporellement au lieu d'être comblés par une queue de silence.
  • Bypass géré par le contrôleur. Le véritable mode bypass de ComfyUI pour les groupes de génération et d'aperçu : aucun des flux de travail actuels n'exige rgthree pour le contrôle des groupes.
  • Compatibilité ascendante. Reconnaît les configurations d'intégration de masque H3 d'avant et d'après la PR ComfyUI #15375, et le repli local se désactive de lui-même dès que la configuration actuelle est détectée.

Music Video

Le flux de travail Music Video à 20 emplacements construit une vidéo multi-clips autour d'une chanson. Le clip de départ est généré avec MiniMaxH3ReferenceToVideo, puis chaque clip transmet directement la fin de son latent vidéo au suivant. La chanson maîtresse reste la référence : chaque clip reçoit la tranche absolue exacte de la chanson maîtresse dans son latent audio H3 avec un masque audio à 0, et la sortie finale utilise la forme d'onde maîtresse originale sans modification.

AV Extension

Le flux de travail AV Extension poursuit une vidéo sur plusieurs générations H3. Un seul contrôleur pilote une chaîne live partagée pour les démarrages de type vidéo existante, T2V et I2V/Keyframes personnalisés, avec deux emplacements de référence d'image et deux références audio optionnelles alimentant le clip de départ et toutes les extensions. Le contexte protégé se cale sur les limites vidéo/audio H3 partagées (39 / 90 / 141 / 192…), l'audio conserve une région strictement préservée plus un fondu en demi-cosinus configurable (8 ticks de latent audio, 0,2 s par défaut), et le résultat est diffusé dans VideoHelperSuite sans allouer de tensor de film final complet.

Références d'exemple

La démo music-video est livrée avec deux images de référence et une chanson dans example_workflows/assets/.

Image de référence 1Image de référence 2
Image de référence 1Image de référence 2

Disponibilité

Installez en clonant dans ComfyUI/custom_nodes/ puis redémarrez :

cd ComfyUI/custom_nodes
git clone https://github.com/seitanism/ComfyUI-H3-Motion-Context-MultiRef.git

Certains flux de travail inclus nécessitent VideoHelperSuite, KJNodes et rgthree ; installez tous les packs de nœuds manquants puis redémarrez. Placez les ressources d'exemple de la music-video (deux images et une chanson) dans votre dossier input/ ComfyUI avant l'exécution. Notez que les nœuds de checkpoint de la mise à jour 5 ne sont plus enregistrés : les flux de travail enregistrés avec ces nœuds doivent être migrés vers les versions direct-latent actuelles.

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
H3 MultiRef Mise à jour 6 : flux de travail Music Video et AV | ComfyUI Wiki