LightVAE: decodificación VAE de vídeo más rápida para Wan y H3

<strong>LightVAE</strong>, del equipo de LightX2V, comprime decodificadores VAE de vídeo preentrenados con convoluciones temporales de bajo rango y poda de bloques, manteniendo la interfaz latente original, de modo que el codificador original sigue funcionando. Cubre Wan2.1, Wan2.2 y MiniMax-H3, se distribuye como seis checkpoints en Hugging Face e incluye un nodo de ComfyUI, tres flujos de trabajo de generación de H3 listos y benchmarks de decodificación medidos.

Comparativa de arquitectura de Wan2.1 VAE, Turbo-VAED, Flash-VAED y LightVAE

Del repositorio del proyecto: el VAE de Wan2.1 junto a Turbo-VAED, Flash-VAED y LightVAE.

Qué hace LightVAE

La decodificación del VAE de vídeo representa una gran parte del coste de una ejecución de generación de vídeo: un clip latente debe convertirse de nuevo en cientos de fotogramas cada vez. LightVAE mantiene la tarea del decodificador idéntica y reduce la red que la realiza:

LightVAE-Pro usa convoluciones temporales de bajo rango a la profundidad original del decodificador, por lo que la fidelidad de reconstrucción se mantiene cerca de la original.
LightVAE-Lite añade poda de bloques, intercambiando algo de fidelidad por más velocidad.
Interfaz latente original. Los modelos Wan conservan su propio codificador sin comprimir, así que un flujo de trabajo existente solo cambia el lado de la decodificación. MiniMax-H3 recibe tanto un decodificador podado como un codificador Lite independiente.

Tabla 1: rendimiento del decodificador y calidad de reconstrucción

Tabla 1 del artículo: rendimiento del decodificador frente al PSNR de reconstrucción.

Velocidad de decodificación

Medido por los autores en ComfyUI sobre una H200 a 768 x 1344, tamaño de lote 1, con 125 fotogramas para Wan y 124 para H3, un calentamiento y la mediana de tres ejecuciones:

Backbone	VAE original	LightVAE-Pro	LightVAE-Lite
Wan2.1	6.844 s / 18.26 FPS	3.754 s / 33.30 FPS (1.82x)	2.330 s / 53.64 FPS (2.94x)
Wan2.2	6.886 s / 18.15 FPS	4.420 s / 28.28 FPS (1.56x)	2.999 s / 41.68 FPS (2.30x)
MiniMax-H3	6.303 s / 19.67 FPS	no disponible	3.574 s / 34.69 FPS (1.76x)

La medición solo cubre VAE.decode con sincronización de GPU, así que es una aceleración de decodificación y no una aceleración de la generación completa. LightVAE no reduce el coste de memoria del modelo de difusión ni del codificador de texto.

Elección de un checkpoint

Modelo de generación	Decodificador LightVAE	Codificador
Wan2.1 / Wan2.2 14B	`lightvae-{pro,lite}-wan21-decoder-comfy.safetensors`	VAE original de Wan2.1
Wan2.2 5B TI2V	`lightvae-{pro,lite}-wan22-decoder-comfy.safetensors`	VAE original de Wan2.2
MiniMax-H3	`lightvae-lite-h3-decoder-comfy.safetensors`	`lightvae-lite-h3-encoder-comfy.safetensors` o el VAE de vídeo original de H3

Wan2.2 14B usa el VAE de Wan2.1 (16 canales latentes), mientras que el modelo 5B usa el VAE de Wan2.2 (48 canales), así que la elección no es libre. Los codificadores de Wan y el VAE de audio de H3 permanecen sin cambios en todas las configuraciones.

Cómo usarlo en ComfyUI

python comfyui/install.py --comfy-root /path/to/ComfyUI copia el adaptador a ComfyUI/custom_nodes/ComfyUI-LightVAE/, y los pesos *-comfy.safetensors van en ComfyUI/models/vae/LightVAE/. Este adaptador de ComfyUI ahora cubre solo MiniMax-H3, y los pesos H3 usan poda de bloques en lugar de TLR. El nodo es Load H3 LightVAE, y lo importante es que carga los bloques conservados en el VAE de vídeo H3 nativo de ComfyUI: el VAE de vídeo original se conecta a su base_vae y los componentes Lite se eligen aquí, no en el nodo estándar Load VAE:

Conserva el nodo Load VAE original y conéctalo al base_vae de LightVAE.
Selecciona el decodificador H3 Lite y deja encoder = none salvo que quieras también la codificación Lite.
Conecta la salida VAE de LightVAE a los nodos de codificación y decodificación del flujo de trabajo.

En H3 el codificador Lite opcional sustituye tanto la ruta de codificación de referencia como la decodificación, de modo que un codificador y un decodificador LightVAE cubren todo el VAE. Establecer ambas selecciones en none restaura el VAE original exactamente.

El repositorio incluye tres flujos de trabajo planos de H3 para este nodo, y no necesitan nada más allá del núcleo de ComfyUI:

Workflow	Task	LightVAE components
`h3_fl2v_lightvae.json`	H3 primer y último fotograma a vídeo, 1344x768	solo decodificador H3 Lite, el VAE original codifica los fotogramas clave
`h3_ref_image_lightvae.json`	H3 imagen de referencia a vídeo y audio, 1344x768	codificador + decodificador H3 Lite
`h3_ref_video_lightvae.json`	H3 video de referencia más banda sonora a vídeo y audio	codificador + decodificador H3 Lite

Los tres también están en el directorio de flujos de trabajo.

Compatibilidad de hardware

LightVAE no se limita a Hopper. En NVIDIA BF16 con Triton usa kernels fusionados; sin un compilador Triton funcional, o en otros dispositivos de PyTorch, las convoluciones TLR permanecen factorizadas y se ejecutan mediante un fallback de PyTorch, y hay una ruta FP32 en CPU para depuración. La ruta de H3 usa convoluciones y atención de PyTorch en lugar de los kernels Triton de Wan, y los autores señalan que no se garantiza la velocidad en familias de GPU no probadas. El nodo se validó con ComfyUI e8665ca en Python 3.11, con una generación completa de H3 verificada a 1344x768, 362 fotogramas, 24 FPS.

Disponibilidad

Pesos: lightx2v/LightVAE en Hugging Face. Código, benchmarks y flujos de trabajo: ModelTC/LightVAE en GitHub.