pi-H3 reduce el vídeo de MiniMax H3 a 2 o 4 pasos en ComfyUI
Los adaptadores pi-H3 reducen el vídeo con audio de MiniMax H3 a 2 o 4 pasos en ComfyUI, más una ruta experimental sin decodificador VAE. Los pesos ya salieron.
Horno de arcilla, 2 pasos a 1344x768, 5 segundos con audio estéreo, de la galería del propio proyecto.
Qué te ofrece
| 1344x768, 24 fps, con audio | pi-H3 2 pasos | pi-H3 4 pasos | Sol-H3 4 pasos |
|---|---|---|---|
| Vídeo de 5 s | 3.81 s | 7.30 s | 9.48 s |
| Vídeo de 10 s | 9.16 s | 17.56 s | 24.31 s |
| Vídeo de 15 s | 18.58 s | 36.41 s | 44.96 s |
De extremo a extremo en una sola B200, desde la codificación de texto hasta el vídeo y el audio decodificados, tomando las cifras de los autores frente a los números publicados de Sol-H3.
Se publican dos familias de adaptadores: versiones simples de 2/4 pasos que siguen decodificando mediante el VAE de H3, y versiones DWD que predicen píxeles en el último paso de eliminación de ruido y omiten por completo el decodificador VAE. Las DWD vienen en INT8 ConvRot para ComfyUI. La versión 1.0 cambió el refinador DWD de una red convolucional a un transformer más ligero con atención de ventana, lo que según los autores aporta un movimiento de detalle fino más suave y una mejor coherencia a 2 pasos.
Ejecútalo en ComfyUI
- Instala ComfyUI-piFlow mediante ComfyUI Manager, o clónalo en
custom_nodes. Requiere ComfyUI 0.45.0 o posterior, y es necesario eliminar antes cualquier extensión pi-H3 o pi-Flow de terceros. - Carga
pi-H3-DWD.jsonopi-H3.jsondesde la carpetaworkflowsdel repositorio. El nodo pi-H3 Adapter alterna entre 2 y 4 pasos y establece los valores correspondientes del scheduler de pi-Flow. - Coloca
pi_h3_2step_dwd_adapter_int8_convrot.safetensors(o el archivo de 4 pasos) enmodels/loras/, y combínalo conminimax_h3_fl2va_pruned_int8_convrot.safetensorsde Comfy-Org/MiniMax-H3. El flujo de trabajo DWD necesita el VAE de vídeo solo para los fotogramas clave, y el VAE de audio como de costumbre.
| RTX 3090, DWD 2 pasos, INT8 | 5 s | 10 s | 15 s |
|---|---|---|---|
| 864x480 | 15.5 s | 37.3 s | 69.2 s |
| 1344x768 | 38.5 s | 97.6 s | 186.1 s |
Solo se admite el tronco FL2VA: texto, primer fotograma, último fotograma, o ambos. No hay adaptador Ref2VA, por lo que el acondicionamiento por imagen de referencia no es posible.
Lo que reportan los probadores
- Kijai convirtió ambos adaptadores a claves LoRA estándar de H3 para ComfyUI y lo califica como «el mejor de 2 pasos hasta ahora» entre las destilaciones recientes. Es más frío con DWD: con el VAE Sol INT8, saltarse el decodificador ahorró menos de un segundo en un clip de 5 segundos a 768p, y la salida de DWD se veía peor que los fotogramas decodificados por VAE.
- JohnDopamine comparó VAE con DWD usando el mismo prompt y ruido. DWD aguantó mejor a 2 pasos, VAE fue mejor a partir de 4 pasos, y su conclusión fue que el adaptador simple a 2 pasos es suficiente para uso general.
- boop reportó que el adaptador de 2 pasos se ve bien con el VAE, con un audio mejor de lo esperado, aunque aún está sin probar en movimiento rápido.
- Apilar otros LoRA de H3 sobre la variante DWD puede salir mal: también entrena los bloques 46 a 49 a través de la cabeza de píxeles, por lo que los adaptadores entrenados sin ella pueden entrar en conflicto con ella (Kijai).
Un fotograma de un render de 14 segundos a 2 pasos sin el decodificador VAE.
Club de jazz submarino, 2 pasos, sin decodificador VAE, 1344x768, 14 segundos.
Consíguelo
- Pesos y adaptadores: Lakonik/pi-H3
- Página del proyecto con las cifras de velocidad y galerías: hanshengchen.com/blog/pi-h3
- Flujos de trabajo de ComfyUI, lista de nodos y ubicación de archivos: documentación de ComfyUI-piFlow
- Pruébalo sin instalar nada: Space de pi-H3
- Conversiones LoRA de ComfyUI ya listas: Kijai/MiniMax-H3_comfy
Comentarios
Inicia sesión con GitHub para unirte a la conversación.