H3 Motion : keyframes d'un sujet animé par MiniMax H3

ComfyUI Wikinews

H3 Motion est une application locale qui pilote ComfyUI : détourez un sujet avec SAM 3.1, tracez son trajet en keyframes, et MiniMax H3 rend le plan avec le son.

<strong>H3 Motion</strong> est une application React locale qui pilote une instance ComfyUI auto-hébergée pour animer un seul élément dans une image fixe ou une vidéo. Détachez un sujet d'une photo avec SAM 3.1, faites-le glisser le long d'un trajet keyframé, et MiniMax H3 rend le plan avec le son. Sur une vidéo, dessinez un masque, animez-le, et H3 ne redessine que ce qui se trouve à l'intérieur. L'auteur, PxTicks, l'a développée pour le concours open source Higgsfield de Comfy et publie déjà Vlo, l'éditeur de timeline que ce site a présenté en septembre.
La phase Move : chaque sujet conserve son propre trajet, avec des clés en losange sur une timeline partagée

Phase Move. Chaque sujet sélectionné reçoit son propre trajet coloré et ses clés, et la durée du clip s'aligne sur la grille d'images de H3.

Il ne s'agit pas d'un nouveau H3 Motion Context. Ce pack de nœuds enchaîne des clips terminés pour que le mouvement se poursuive à travers une coupe ; H3 Motion travaille sur un seul clip et déplace un sujet à l'intérieur de celui-ci.

Photo : sélectionner, détacher, tracer un trajet

1. Sélectionner. Décrivez le sujet par son nom et SAM 3.1 le trouve. Des clics affinent le masque : ajoutez ou retirez des points jusqu'à ce que seul l'élément voulu soit inclus. 2. Isoler. Qwen3-VL décrit le sujet confirmé, Qwen Image 2.1 le supprime, et l'application affiche l'arrière-plan propre. Vous pouvez réessayer avec une nouvelle graine ou réécrire l'instruction de suppression. 3. Move. Faites glisser le sujet pour enregistrer un trajet, ou parcourez la timeline et faites glisser pour placer les clés une par une. Les clés définissent aussi la taille, si bien qu'un objet peut grandir, rétrécir ou se retourner au-delà de son bord pour simuler une rotation. 4. Générer. L'application rend les images keyframées et les transmet à MiniMax H3 avec Time-to-Move, qui renvoie un clip avec le son.

La durée du clip va de 3,0 à 15,1 secondes par pas de 17 images, la grille sur laquelle H3 échantillonne, et la première image est toujours votre photo d'origine. Les trajets survivent à une nouvelle tentative d'arrière-plan : un sujet n'a donc pas à être redessiné après un échec d'isolation.

La phase Select, avec un sujet repéré par SAM 3.1 et affiné par des clics

Phase Select. Le prompt trouve un candidat ; les points décident du masque final.

Vidéo : animer le masque, pas l'image

Dessinez un rectangle ou une ellipse sur une partie d'un clip. Le masque peut être animé à la main avec les mêmes outils de trajet, ou chargé de suivre un objet : SAM 3.1 le segmente sur la première image et le nœud central SAM3_VideoTrack le propage, l'application rejetant les images dont la surface ou la position saute. Décrivez ce qui doit apparaître et fournissez éventuellement une image de référence, générée à partir d'une description ou créée en éditant l'image en cours à l'intérieur du masque. Le modèle ref2va de H3 régénère la zone masquée en une seule passe d'échantillonnage et l'application recompose le résultat avec un bord adouci, en conservant, référençant ou remplaçant l'audio d'origine.

Le clip de démonstration fourni dans les ressources web du dépôt (1280×720, 4 secondes).

Installation et exécution

L'application est fournie uniquement en source : clonez-la, npm install, npm run dev, puis ouvrez http://127.0.0.1:5180. Elle se connecte à un ComfyUI que vous exécutez déjà sur le port 8188 et démarre elle-même le proxy API ; elle ne lance jamais ComfyUI et ne télécharge aucun modèle. Un second terminal exécute npm run check-env pour confirmer que chaque nœud et fichier de modèle est présent.

Il vous faut ComfyUI (le README a été testé avec v0.41.0-18), ComfyUI-vlo 0.3.0 ou plus récent pour les nœuds vloTimeToMove, vloSAM3RefineMask et vloMaskToLatentMask, Node 22.12 ou plus récent, ainsi que uv. Les deux flux de travail H3 utilisent l'attention INT8 de Comfy Kitchen, un GPU NVIDIA ou AMD est donc requis. Le README liste les lignes hf download exactes pour les onze fichiers : SAM 3.1, Qwen Image 2.1 avec son encodeur Qwen3-VL et son VAE, les modèles de diffusion H3 fl2va et ref2va, l'encodeur de texte H3 et ses deux VAE, plus les LoRA Pika Flex.

Limites

  • Windows natif n'est pas testé ; WSL est la voie testée. Un déploiement hébergé de l'API Comfy est décrit, mais également non testé.
  • Les photos et vidéos doivent se situer entre 1:4 et 4:1, car rien de plus large que 4:1 ne peut être produit en 768p.
  • Aucune version étiquetée pour l'instant, et le dernier commit date du 3 novembre.

Disponibilité

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
H3 Motion : keyframes d'un sujet animé par MiniMax H3 | ComfyUI Wiki