H3 Motion: keyframes de un sujeto animados con MiniMax H3

ComfyUI Wikinews

H3 Motion es una app local que controla ComfyUI: selecciona un sujeto de una foto con SAM 3.1, arrástralo por una ruta con keyframes y MiniMax H3 renderiza la toma con sonido.

<strong>H3 Motion</strong> es una app local en React que controla un ComfyUI autoalojado para animar una sola cosa dentro de una imagen fija o un vídeo. Selecciona un sujeto de una foto con SAM 3.1, arrástralo por una ruta con keyframes y MiniMax H3 renderiza la toma con sonido. En vídeo, dibuja una máscara, anima la máscara y H3 redibuja solo lo que hay dentro de ella. Su autor, PxTicks, la creó para el concurso de código abierto Higgsfield de Comfy y ya distribuye Vlo, el editor de línea de tiempo que este sitio cubrió en septiembre.
La fase Move: cada sujeto mantiene su propia ruta, con claves en forma de rombo en una línea de tiempo compartida

Fase Move. Cada sujeto seleccionado recibe su propia ruta de color y sus claves, y la duración del clip se ajusta a la rejilla de fotogramas de H3.

Este no es otro H3 Motion Context. Ese paquete de nodos encadena clips finalizados para que el movimiento continúe a través de un corte; H3 Motion trabaja sobre un solo clip y mueve un sujeto dentro de él.

Foto: seleccionar, recortar, arrastrar una ruta

1. Seleccionar. Describe el sujeto por su nombre y SAM 3.1 lo encuentra. Los clics refinan la máscara: añade o quita puntos hasta que solo quede incluido lo que quieres. 2. Aislar. Qwen3-VL describe el sujeto confirmado, Qwen Image 2.1 lo elimina y la app muestra el fondo limpio. Puedes reintentar con una nueva semilla o reescribir la instrucción de eliminación. 3. Mover. Arrastra el sujeto para grabar una ruta, o desplázate por la línea de tiempo y arrastra para colocar claves una a una. Las claves también fijan el tamaño, así que un objeto puede crecer, encogerse o voltearse más allá de su borde para simular un giro. 4. Generar. La app renderiza los fotogramas con keyframes y los entrega a MiniMax H3 con Time-to-Move, que devuelve un clip con sonido.

La duración del clip va de 3,0 a 15,1 segundos en pasos de 17 fotogramas, la rejilla sobre la que muestrea H3, y el primer fotograma siempre es tu foto original. Las rutas sobreviven a un reintento del fondo, así que un sujeto no tiene que volver a dibujarse tras un aislamiento fallido.

La fase Select, con un sujeto elegido por SAM 3.1 y refinado con clics

Fase Select. El prompt encuentra un candidato; los puntos deciden la máscara final.

Vídeo: anima la máscara, no el fotograma

Dibuja un rectángulo o una elipse sobre parte de un clip. La máscara se puede animar a mano con las mismas herramientas de ruta, o indicarle que siga un objeto: SAM 3.1 lo segmenta en el primer fotograma y el nodo principal SAM3_VideoTrack lo propaga, y la app descarta los fotogramas cuya área o posición da un salto. Describe lo que debería aparecer y, opcionalmente, aporta una imagen de referencia, generada a partir de una descripción o creada editando el fotograma actual dentro de la máscara. El modelo ref2va de H3 regenera la región enmascarada en una sola pasada de muestreo y la app recompone el resultado con un borde suavizado, conservando, usando como referencia o reemplazando el audio original.

El clip de demostración incluido en los recursos web del repositorio (1280×720, 4 segundos).

Cómo ejecutarlo

La app es solo código fuente: clónala, ejecuta npm install, npm run dev y abre http://127.0.0.1:5180. Se conecta a un ComfyUI que ya tengas en el puerto 8188 e inicia ella misma el proxy de la API; nunca lanza ComfyUI ni descarga modelos. En un segundo terminal se ejecuta npm run check-env para confirmar que todos los nodos y archivos de modelo están presentes.

Necesitas ComfyUI (el README se probó con v0.41.0-18), ComfyUI-vlo 0.3.0 o posterior para los nodos vloTimeToMove, vloSAM3RefineMask y vloMaskToLatentMask, Node 22.12 o más reciente, y uv. Ambos flujos de trabajo de H3 usan la atención INT8 de Comfy Kitchen, así que se requiere una GPU NVIDIA o AMD. El README incluye las líneas exactas de hf download para los once archivos: SAM 3.1, Qwen Image 2.1 y su codificador Qwen3-VL y su VAE, los modelos de difusión fl2va y ref2va de H3, el codificador de texto de H3 y ambos VAE, además de los LoRA de Pika Flex.

Limitaciones

  • Windows nativo no está probado; WSL es la vía probada. Se describe un despliegue alojado con la API de Comfy, pero tampoco está probado.
  • Las fotos y los vídeos deben tener una relación entre 1:4 y 4:1, ya que cualquier cosa más ancha que 4:1 no se puede entregar a 768p.
  • Todavía no hay una versión etiquetada, y el último commit fue el 3 de noviembre.

Disponibilidad

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
H3 Motion: keyframes de un sujeto animados con MiniMax H3 | ComfyUI Wiki