LightVAE: ускоренное декодирование видео VAE для Wan и H3
ModelTC выпускает LightVAE, сжатые декодеры видео VAE для Wan2.1, Wan2.2 и MiniMax-H3, сохраняющие оригинальный латентный интерфейс и работающие до 2.94x быстрее в ComfyUI.
Из репозитория проекта: Wan2.1 VAE рядом с Turbo-VAED, Flash-VAED и LightVAE.
Что делает LightVAE
Декодирование видео VAE составляет большую часть затрат на генерацию видео: латентный клип приходится каждый раз превращать обратно в сотни кадров. LightVAE оставляет задачу декодера неизменной и уменьшает сеть, которая её выполняет:
- LightVAE-Pro использует временные низкоранговые свёртки при исходной глубине декодера, поэтому точность реконструкции остаётся близкой к оригиналу.
- LightVAE-Lite добавляет сверху блочный прунинг, обменивая немного точности на дополнительную скорость.
- Оригинальный латентный интерфейс. Модели Wan сохраняют собственный несжатый энкодер, поэтому в существующем рабочем процессе заменяется только сторона декодирования. MiniMax-H3 получает и урезанный декодер, и отдельный Lite-энкодер.
Таблица 1 из статьи: пропускная способность декодера против PSNR реконструкции.
Скорость декодирования
Измерено авторами в ComfyUI на H200 при 768 x 1344, размер пакета 1, 125 кадров для Wan и 124 для H3, один прогрев и медиана из трёх запусков:
| Бэкбон | Оригинальный VAE | LightVAE-Pro | LightVAE-Lite |
|---|---|---|---|
| Wan2.1 | 6.844 s / 18.26 FPS | 3.754 s / 33.30 FPS (1.82x) | 2.330 s / 53.64 FPS (2.94x) |
| Wan2.2 | 6.886 s / 18.15 FPS | 4.420 s / 28.28 FPS (1.56x) | 2.999 s / 41.68 FPS (2.30x) |
| MiniMax-H3 | 6.303 s / 19.67 FPS | не указано | 3.574 s / 34.69 FPS (1.76x) |
Измерение охватывает только синхронизированный с GPU VAE.decode, поэтому это ускорение декодирования, а не ускорение полной генерации. LightVAE не снижает затраты памяти модели диффузии или текстового энкодера.
Выбор чекпойнта
| Модель генерации | Декодер LightVAE | Энкодер |
|---|---|---|
| Wan2.1 / Wan2.2 14B | lightvae-{pro,lite}-wan21-decoder-comfy.safetensors | Оригинальный Wan2.1 VAE |
| Wan2.2 5B TI2V | lightvae-{pro,lite}-wan22-decoder-comfy.safetensors | Оригинальный Wan2.2 VAE |
| MiniMax-H3 | lightvae-lite-h3-decoder-comfy.safetensors | lightvae-lite-h3-encoder-comfy.safetensors или оригинальный видео VAE от H3 |
Wan2.2 14B использует VAE от Wan2.1 (16 латентных каналов), а модель 5B использует VAE от Wan2.2 (48 каналов), поэтому выбор не является произвольным. Энкодеры Wan и аудио VAE от H3 остаются неизменными в любой конфигурации.
Использование в ComfyUI
python comfyui/install.py --comfy-root /path/to/ComfyUI копирует адаптер в ComfyUI/custom_nodes/ComfyUI-LightVAE/, а веса *-comfy.safetensors помещаются в ComfyUI/models/vae/LightVAE/. Нода называется Load LightVAE (TLR), и важно то, что упакованные экспорты заменяют обычный Load VAE, а не стандартный путь VAELoader:
- Оставьте оригинальную ноду Load VAE и подключите её к входу
base_vaeноды LightVAE. - Выберите декодер Pro или Lite для своего бэкбона и оставьте
encoder = none(Wan) либо выберите оба файла H3 Lite. - Подключите выход
VAEноды LightVAE к узлам кодирования и декодирования в рабочем процессе.
Для Wan меняется только сторона декодирования, а условие по референсу продолжает использовать оригинальный энкодер. Для H3 опциональный Lite-энкодер заменяет и путь кодирования референса, и декодирование, причём в такой конфигурации оригинальный видео VAE не нужен. Если установить оба выбора в none, оригинальный VAE восстанавливается в точности.
Репозиторий поставляет шесть плоских рабочих процессов для этой ноды, и им не требуется ничего, кроме ядра ComfyUI:
| Рабочий процесс | Задача | Компоненты LightVAE |
|---|---|---|
wan21_t2v_lightvae.json | Wan2.1 1.3B текст в видео, 832x480, 81 кадр | декодер wan21 Pro / Lite |
wan22_5b_t2v_lightvae.json | Wan2.2 5B текст в видео, 1280x704, 121 кадр | декодер wan22 Pro / Lite |
wan22_5b_i2v_lightvae.json | Wan2.2 5B изображение в видео | декодер wan22 Pro / Lite |
wan22_14b_i2v_lightvae.json | Wan2.2 14B изображение в видео, два эксперта | декодер wan21 Pro / Lite |
h3_ref_image_lightvae.json | H3 референсное изображение в видео и аудио, 1344x768 | энкодер + декодер H3 Lite |
h3_ref_video_lightvae.json | H3 референсное видео со звуковой дорожкой в видео и аудио | энкодер + декодер H3 Lite |
Все шесть также доступны в каталоге рабочих процессов.
Поддержка оборудования
LightVAE не ограничивается Hopper. На NVIDIA с BF16 и Triton он использует объединённые ядра; без работающего компилятора Triton или на других устройствах PyTorch свёртки TLR остаются факторизованными и выполняются через фолбэк на PyTorch, а для отладки есть путь CPU FP32. Путь для H3 использует свёртки и внимание PyTorch вместо ядер Triton от Wan, и авторы отмечают, что для непроверенных семейств GPU скорость не гарантируется. Нода была проверена на ComfyUI e8665ca с Python 3.11, а полная генерация на H3 подтверждена при 1344x768, 362 кадра, 24 FPS.
Доступность
Веса: lightx2v/LightVAE на Hugging Face. Код, бенчмарки и рабочие процессы: ModelTC/LightVAE на GitHub.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.