LightVAE: decodificación VAE de vídeo más rápida para Wan y H3

<strong>LightVAE</strong>, del equipo de LightX2V, comprime decodificadores VAE de vídeo preentrenados con convoluciones temporales de bajo rango y poda de bloques, manteniendo la interfaz latente original, de modo que el codificador original sigue funcionando. Cubre Wan2.1, Wan2.2 y MiniMax-H3, se distribuye como seis checkpoints en Hugging Face e incluye un nodo de ComfyUI, seis flujos de trabajo de generación listos y benchmarks de decodificación medidos.

Comparativa de arquitectura de Wan2.1 VAE, Turbo-VAED, Flash-VAED y LightVAE

Del repositorio del proyecto: el VAE de Wan2.1 junto a Turbo-VAED, Flash-VAED y LightVAE.

Qué hace LightVAE

La decodificación del VAE de vídeo representa una gran parte del coste de una ejecución de generación de vídeo: un clip latente debe convertirse de nuevo en cientos de fotogramas cada vez. LightVAE mantiene la tarea del decodificador idéntica y reduce la red que la realiza:

LightVAE-Pro usa convoluciones temporales de bajo rango a la profundidad original del decodificador, por lo que la fidelidad de reconstrucción se mantiene cerca de la original.
LightVAE-Lite añade poda de bloques, intercambiando algo de fidelidad por más velocidad.
Interfaz latente original. Los modelos Wan conservan su propio codificador sin comprimir, así que un flujo de trabajo existente solo cambia el lado de la decodificación. MiniMax-H3 recibe tanto un decodificador podado como un codificador Lite independiente.

Tabla 1: rendimiento del decodificador y calidad de reconstrucción

Tabla 1 del artículo: rendimiento del decodificador frente al PSNR de reconstrucción.

Velocidad de decodificación

Medido por los autores en ComfyUI sobre una H200 a 768 x 1344, tamaño de lote 1, con 125 fotogramas para Wan y 124 para H3, un calentamiento y la mediana de tres ejecuciones:

Backbone	VAE original	LightVAE-Pro	LightVAE-Lite
Wan2.1	6.844 s / 18.26 FPS	3.754 s / 33.30 FPS (1.82x)	2.330 s / 53.64 FPS (2.94x)
Wan2.2	6.886 s / 18.15 FPS	4.420 s / 28.28 FPS (1.56x)	2.999 s / 41.68 FPS (2.30x)
MiniMax-H3	6.303 s / 19.67 FPS	no disponible	3.574 s / 34.69 FPS (1.76x)

La medición solo cubre VAE.decode con sincronización de GPU, así que es una aceleración de decodificación y no una aceleración de la generación completa. LightVAE no reduce el coste de memoria del modelo de difusión ni del codificador de texto.

Elección de un checkpoint

Modelo de generación	Decodificador LightVAE	Codificador
Wan2.1 / Wan2.2 14B	`lightvae-{pro,lite}-wan21-decoder-comfy.safetensors`	VAE original de Wan2.1
Wan2.2 5B TI2V	`lightvae-{pro,lite}-wan22-decoder-comfy.safetensors`	VAE original de Wan2.2
MiniMax-H3	`lightvae-lite-h3-decoder-comfy.safetensors`	`lightvae-lite-h3-encoder-comfy.safetensors` o el VAE de vídeo original de H3

Wan2.2 14B usa el VAE de Wan2.1 (16 canales latentes), mientras que el modelo 5B usa el VAE de Wan2.2 (48 canales), así que la elección no es libre. Los codificadores de Wan y el VAE de audio de H3 permanecen sin cambios en todas las configuraciones.

Cómo usarlo en ComfyUI

python comfyui/install.py --comfy-root /path/to/ComfyUI copia el adaptador a ComfyUI/custom_nodes/ComfyUI-LightVAE/, y los pesos *-comfy.safetensors van en ComfyUI/models/vae/LightVAE/. El nodo es Load LightVAE (TLR), y lo importante es que las exportaciones empaquetadas sustituyen a un Load VAE normal, no la ruta estándar de VAELoader:

Conserva el nodo Load VAE original y conéctalo al base_vae de LightVAE.
Selecciona el decodificador Pro o Lite para tu backbone y deja encoder = none (Wan), o selecciona ambos archivos H3 Lite.
Conecta la salida VAE de LightVAE a los nodos de codificación y decodificación del flujo de trabajo.

En Wan solo cambia el lado de la decodificación, y el acondicionamiento de referencia sigue usando el codificador original. En H3, el codificador Lite opcional sustituye tanto la ruta de codificación de referencia como la decodificación, y en esa configuración no se necesita ningún VAE de vídeo original. Establecer ambas selecciones en none restaura el VAE original exactamente.

El repositorio incluye seis flujos de trabajo planos para este nodo, y no necesitan nada más allá del núcleo de ComfyUI:

Workflow	Task	LightVAE components
`wan21_t2v_lightvae.json`	Wan2.1 1.3B texto a vídeo, 832x480, 81 fotogramas	decodificador wan21 Pro / Lite
`wan22_5b_t2v_lightvae.json`	Wan2.2 5B texto a vídeo, 1280x704, 121 fotogramas	decodificador wan22 Pro / Lite
`wan22_5b_i2v_lightvae.json`	Wan2.2 5B imagen a vídeo	decodificador wan22 Pro / Lite
`wan22_14b_i2v_lightvae.json`	Wan2.2 14B imagen a vídeo, dos expertos	decodificador wan21 Pro / Lite
`h3_ref_image_lightvae.json`	H3 imagen de referencia a vídeo y audio, 1344x768	codificador + decodificador H3 Lite
`h3_ref_video_lightvae.json`	H3 vídeo de referencia más banda sonora a vídeo y audio	codificador + decodificador H3 Lite

Los seis también están en el directorio de flujos de trabajo.

Compatibilidad de hardware

LightVAE no se limita a Hopper. En NVIDIA BF16 con Triton usa kernels fusionados; sin un compilador Triton funcional, o en otros dispositivos de PyTorch, las convoluciones TLR permanecen factorizadas y se ejecutan mediante un fallback de PyTorch, y hay una ruta FP32 en CPU para depuración. La ruta de H3 usa convoluciones y atención de PyTorch en lugar de los kernels Triton de Wan, y los autores señalan que no se garantiza la velocidad en familias de GPU no probadas. El nodo se validó con ComfyUI e8665ca en Python 3.11, con una generación completa de H3 verificada a 1344x768, 362 fotogramas, 24 FPS.

Disponibilidad

Pesos: lightx2v/LightVAE en Hugging Face. Código, benchmarks y flujos de trabajo: ModelTC/LightVAE en GitHub.