H3 Continuity Studio, des scènes H3 cohérentes entre plans

Le Studio rassemble la chronologie, la visionneuse et l'inspecteur de clips dans un seul panneau au-dessus d'un flux de travail H3 normal.

H3 génère environ cinq secondes par passe, donc tout ce qui est plus long est une chaîne de jonctions. La plupart des chaînes sont construites à la main : réutiliser la dernière image, la réinjecter comme première image, en espérant que la couleur et la disposition tiennent. Le mode de défaillance est bien connu sur Banodoco : le troisième ou le quatrième maillon dérive, et la correction consiste à refaire le rendu depuis un point antérieur.

Ce pack déplace cette gestion dans une toile. Les clips se trouvent sur une chronologie avec leurs propres prompts, images, emplacements de référence et paramètres ; l'éditeur les rend un par un ou en séquence, et la jonction entre deux clips est un choix explicite plutôt qu'un accident lié au câblage de la dernière image.

Quatre types de jonction

La chronologie distingue quatre relations entre clips consécutifs :

• Continuer conserve le contexte du clip précédent afin que le nouveau reprenne en pleine action.
• Coupe démarre une nouvelle cible à partir d'un nouveau prompt, ce qui est l'endroit où la dérive s'installe habituellement.
• Nouvelle scène démarre une nouvelle scène tout en conservant l'historique visuel du film, de sorte que le nouveau prompt définit le décor.
• Pont génère une courte transition entre deux plans sans refaire le rendu de l'un ou de l'autre.

Les prises multiples par clip sont conservées comme candidates plutôt qu'écrasées, et refaire le rendu d'un clip dont se souvient un clip plus tardif marque le clip dépendant comme nécessitant un rendu, avec la raison dans son infobulle.

Un pont généré se place entre deux clips, afin qu'aucun plan n'ait à être refait pour masquer la jonction.

Mémoire visuelle : cinq images, lues depuis le latent d'origine

La partie intéressante est ce qui se passe lors d'une coupe. H3 ne voit normalement que le nouveau prompt, donc une pièce, un manteau ou une maison peuvent changer discrètement. La mémoire visuelle montre à H3 des moments antérieurs du film sous forme de référence vidéo native, écrite dans le prompt sous la forme <Video N>.

Chaque moment mémorisé est une fenêtre de cinq images. Elle est lue depuis le latent vidéo d'origine d'un clip enregistré et transmise au modèle de diffusion au niveau du latent, donc il n'y a ni décodage, ni réencodage, ni aller-retour par les pixels ; seul l'encodeur de texte en voit une présentation décodée. Aucun modèle, dépendance ou correctif supplémentaire n'est impliqué. H3 aligne chaque moment sur une limite de 17 images avant de le lire, de sorte qu'une fenêtre peut commencer légèrement avant l'horodatage choisi. Lors d'une coupe, chaque mode activé fournit également le latent d'origine complet du clip précédent, ce qui transporte la disposition et l'apparence des objets tandis que le plan suivant part d'une nouvelle cible.

Deux moments sélectionnés dans les paramètres d'un clip, chacun listé avec son clip source et son horodatage.

Quatre modes sont proposés par clip :

Les moments sélectionnés sont la voie manuelle : choisissez le clip antérieur et un instant dans ses images livrées, décrivez ce qui compte (red brick house, blue door, three upstairs windows), et faites d'abord le rendu du clip source. Un clip dont la source est manquante ou obsolète s'arrête avec un message « faites d'abord le rendu de la source » au lieu de générer quelque chose de subtilement erroné.

À gauche : la pièce établie par le premier clip. À droite : un clip ultérieur depuis un autre angle, rendu avec les moments sélectionnés de ce premier clip.

La démo, et ce qu'elle ne prouve pas

Le référentiel fournit examples/memory_demo.json, un film de six clips avec un pont : un salon, une coupe vers l'extérieur, un pont vers une vue de porche, une coupe de retour à l'intérieur qui réutilise des moments du premier clip, une vue d'angle de la même pièce, et un plan de lecture en continuation dont la mémoire est désactivée car la continuation transporte déjà le clip précédent. Il a été rendu en 1024 x 576, 24 ips, avec 39 images transportées, et ne nécessite aucune référence téléversée ni identifiant pour être reproduit.

Le montage de concours du projet : le film complet plus de courtes sections explicatives, en moins de deux minutes.

L'auteur est explicite sur les limites. Les contrôles de régression couvrent la réutilisation du latent, les décalages de temps livré, le rappel entre coupes, l'invalidation des sources et l'éditeur, mais le moteur de rendu n'a pas été évalué visuellement sur tous les modes de mémoire. Le test équitable suggéré consiste à rendre les mêmes graines de trois manières (mémoire désactivée, mémoire de scène automatique, vue choisie à la main) et à comparer la conservation des détails, le mouvement aux jonctions, le temps d'exécution et la VRAM. L'exemple est une démonstration de détails conservés, pas une garantie de géométrie identique d'une configuration à l'autre.

Installation

Clonez le référentiel dans ComfyUI/custom_nodes/ComfyUI-H3-Continuity-Studio et exécutez pip install -r requirements.txt avec le même environnement Python que ComfyUI, ou utilisez python_embeded/python.exe de la version portable sous Windows. Redémarrez, chargez examples/h3_story_studio.json, puis pointez les chargeurs de modèle vers votre propre modèle de diffusion H3, encodeur de texte, VAE vidéo, VAE audio et LoRA optionnel : l'exemple enregistre les noms de fichiers de l'auteur d'origine et ne télécharge rien.

Fenêtres de contexte nécessite une version de ComfyUI qui contient déjà le nœud central Fenêtres de contexte MiniMax H3, et l'outil optionnel d'écriture d'histoire nécessite un point de terminaison compatible OpenAI configuré séparément, local ou cloud, qui reçoit le texte de l'histoire et, si activé, des images de référence. La génération nécessite toujours un GPU et les poids H3. Le texte optionnel du guide de prompt MiniMax n'est pas fourni ; le pack fonctionne sans lui et signale les guides manquants.

Le projet publie des versions à un rythme rapide : cinq tags entre le 2 et le 3 novembre, la dernière ajoutant des panneaux Studio redimensionnables et le zoom de la chronologie, après que les précédentes ont apporté le fractionnement au guide (split-at-guide), un ratio d'aspect libre pour les flux de travail configurés, et des histoires enregistrées qui conservent leurs guides d'images.