pi-H3 reduce el vídeo de MiniMax H3 a 2 o 4 pasos en ComfyUI

ComfyUI Wikinews

Los adaptadores pi-H3 reducen el vídeo con audio de MiniMax H3 a 2 o 4 pasos en ComfyUI, más una ruta experimental sin decodificador VAE. Los pesos ya salieron.

pi-H3 destila MiniMax H3 en un generador de vídeo con audio sincronizado de 2 o 4 pasos. Los pesos, el código de inferencia y los nodos de ComfyUI se publicaron el 21 de noviembre. Los autores son los investigadores de Stanford Hansheng Chen, Gordon Wetzstein y Leonidas Guibas, junto con dos coautores que realizaron parte del trabajo en Luma AI.

Horno de arcilla, 2 pasos a 1344x768, 5 segundos con audio estéreo, de la galería del propio proyecto.

Qué te ofrece

1344x768, 24 fps, con audiopi-H3 2 pasospi-H3 4 pasosSol-H3 4 pasos
Vídeo de 5 s3.81 s7.30 s9.48 s
Vídeo de 10 s9.16 s17.56 s24.31 s
Vídeo de 15 s18.58 s36.41 s44.96 s

De extremo a extremo en una sola B200, desde la codificación de texto hasta el vídeo y el audio decodificados, tomando las cifras de los autores frente a los números publicados de Sol-H3.

Se publican dos familias de adaptadores: versiones simples de 2/4 pasos que siguen decodificando mediante el VAE de H3, y versiones DWD que predicen píxeles en el último paso de eliminación de ruido y omiten por completo el decodificador VAE. Las DWD vienen en INT8 ConvRot para ComfyUI. La versión 1.0 cambió el refinador DWD de una red convolucional a un transformer más ligero con atención de ventana, lo que según los autores aporta un movimiento de detalle fino más suave y una mejor coherencia a 2 pasos.

Ejecútalo en ComfyUI

  1. Instala ComfyUI-piFlow mediante ComfyUI Manager, o clónalo en custom_nodes. Requiere ComfyUI 0.45.0 o posterior, y es necesario eliminar antes cualquier extensión pi-H3 o pi-Flow de terceros.
  2. Carga pi-H3-DWD.json o pi-H3.json desde la carpeta workflows del repositorio. El nodo pi-H3 Adapter alterna entre 2 y 4 pasos y establece los valores correspondientes del scheduler de pi-Flow.
  3. Coloca pi_h3_2step_dwd_adapter_int8_convrot.safetensors (o el archivo de 4 pasos) en models/loras/, y combínalo con minimax_h3_fl2va_pruned_int8_convrot.safetensors de Comfy-Org/MiniMax-H3. El flujo de trabajo DWD necesita el VAE de vídeo solo para los fotogramas clave, y el VAE de audio como de costumbre.
RTX 3090, DWD 2 pasos, INT85 s10 s15 s
864x48015.5 s37.3 s69.2 s
1344x76838.5 s97.6 s186.1 s

Solo se admite el tronco FL2VA: texto, primer fotograma, último fotograma, o ambos. No hay adaptador Ref2VA, por lo que el acondicionamiento por imagen de referencia no es posible.

Lo que reportan los probadores

  • Kijai convirtió ambos adaptadores a claves LoRA estándar de H3 para ComfyUI y lo califica como «el mejor de 2 pasos hasta ahora» entre las destilaciones recientes. Es más frío con DWD: con el VAE Sol INT8, saltarse el decodificador ahorró menos de un segundo en un clip de 5 segundos a 768p, y la salida de DWD se veía peor que los fotogramas decodificados por VAE.
  • JohnDopamine comparó VAE con DWD usando el mismo prompt y ruido. DWD aguantó mejor a 2 pasos, VAE fue mejor a partir de 4 pasos, y su conclusión fue que el adaptador simple a 2 pasos es suficiente para uso general.
  • boop reportó que el adaptador de 2 pasos se ve bien con el VAE, con un audio mejor de lo esperado, aunque aún está sin probar en movimiento rápido.
  • Apilar otros LoRA de H3 sobre la variante DWD puede salir mal: también entrena los bloques 46 a 49 a través de la cabeza de píxeles, por lo que los adaptadores entrenados sin ella pueden entrar en conflicto con ella (Kijai).
Club de jazz submarino

Un fotograma de un render de 14 segundos a 2 pasos sin el decodificador VAE.

Club de jazz submarino, 2 pasos, sin decodificador VAE, 1344x768, 14 segundos.

Consíguelo

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
pi-H3 reduce el vídeo de MiniMax H3 a 2 o 4 pasos en ComfyUI | ComfyUI Wiki