ReCaVSR: ampliación de vídeo 4x en un paso, ahora en ComfyUI

ComfyUI Wikinews

ReCaVSR amplía clips 4x sobre Wan2.2 con un paso de denoising por bloque. Ya hay nodos de ComfyUI, un archivo int8 de 6.3 GB e instalación desde ComfyUI Manager.

ReCaVSR es un modelo de superresolución de vídeo de un solo paso de la USTC, construido sobre Wan2.2 TI2V-5B. El port para ComfyUI publicado el 10 de noviembre lo envuelve en dos nodos nativos, se instala desde ComfyUI Manager y añade un archivo int8 de 6.3 GB que permite ejecutar una pasada 4x a 1440p en una tarjeta de 8 GB.

El modelo amplía un clip de 21 en 21 fotogramas y luego de 8 en 8, con un paso de denoising por bloque, arrastrando los latents del bloque anterior y una caché de claves y valores pasados. Su propio decodificador en streaming, FlashDecoder, convierte cada bloque en fotogramas en cuanto termina, así que un clip más largo cuesta tiempo y disco en lugar de memoria.

Una calle lluviosa a 4x, de 960×480 a 3840×1920, del conjunto de demos del proyecto.

Calle a 4xRetrato a 4x
960×480 a 3840×1920, entrada arriba360×360 a 1440×1440, entrada a la izquierda

Velocidad

Dos clips, de 149 y 180 fotogramas, a través del nodo ReCaVSR Upscale Video en Linux con ComfyUI 0.44.0, sage attention y VRAM dinámica:

Calle lluviosa, 960×480 a 3840×1920RTX 3090RTX 4090VRAM máxima 4090
transformer bf16114 s59 s22.6 GB
ConvRot int867 s36 s21.2 GB

El retrato, de 360×360 a 1440×1440, baja a 15 s en una 4090 y 11.6 GB con el archivo int8. Limitado a una tarjeta de 12 GB u 8 GB, ese mismo retrato sigue terminando en 23 s y 27 s.

El archivo int8 ocupa 6.27 GB frente a los 10.6 GB del bf16, y se mantiene a unos 48 dB de la salida bf16 en todos los fotogramas.

bf16 frente a int8, recortes 1:1

bf16 arriba, int8 abajo, recortes 1:1 de la salida.

Cómo ejecutarlo

  1. Instala los nodos: busca ReCaVSR video super-resolution en ComfyUI Manager, ejecuta comfy node install comfyui-recavsr, o clona ComfyUI-ReCaVSR en custom_nodes e instala sus requisitos.
  2. Coloca prompt.safetensors (4.2 MB) y flashdecoder.safetensors (229 MB) de kopper/ReCaVSR en ComfyUI/models/recavsr, y luego añade a esa misma carpeta el transformer.safetensors bf16 o el archivo ConvRot int8.
  3. Abre Plantillas → ComfyUI-ReCaVSR → recavsr_video_4x, carga un clip y envía a la cola. La cadena es Cargar video → ReCaVSR Upscale Video → Guardar video, y la salida conserva el audio y la frecuencia de cuadros de la entrada.

Configuraciones que conviene conocer

  • Scale 4 es para lo que se entrenó el modelo; el repositorio original documenta 2 y 1.5. Los tamaños que no son múltiplo de 32 se rellenan y se recortan de vuelta.
  • Decoder: flashdecoder es el propio del modelo y se ejecuta entre 25 y 40 veces más rápido que el VAE de Wan 2.2. La opción vae genera una textura más fina si tienes tiempo.
  • color_fix: none, adain o wavelet, las correcciones al estilo StableSR, por si la ampliación desplaza el color.
  • kv_offload mueve el historial de atención a la RAM entre bloques. Lo necesitas para 3840×1920 en una tarjeta de 16 GB, y cuesta entre un 7 y un 16 % de velocidad a 1440p.
  • Sin Triton, ambos kernels de atención recurren a PyTorch y se vuelven mucho más lentos. Las instalaciones en Windows suelen acabar aquí.

La ruta bf16 necesita una GPU NVIDIA con compute capability 7.5 o superior para el GEMM int8; por debajo de eso, los pesos se desquantizan al cargar.

Disponibilidad

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
ReCaVSR: ampliación de vídeo 4x en un paso, ahora en ComfyUI | ComfyUI Wiki