ReCaVSR: 4x апскейл видео за один шаг, теперь в ComfyUI

ComfyUI Wikinews

ReCaVSR увеличивает клипы в 4 раза на Wan2.2 за один шаг денойзинга на блок. Узлы ComfyUI, файл int8 на 6.3 ГБ и установка через ComfyUI Manager доступны.

ReCaVSR: это одношаговая модель суперразрешения видео от USTC, построенная на Wan2.2 TI2V-5B. Порт для ComfyUI, опубликованный 10 ноября, оборачивает её в два нативных узла, устанавливается из ComfyUI Manager и добавляет файл int8 на 6.3 ГБ, который позволяет выполнить 4-кратный проход в 1440p на карте с 8 ГБ.

Модель увеличивает клип по 21 кадру, а затем по 8 кадров, с одним шагом denoising на блок, перенося latents предыдущего блока и кэш прошлых ключей и значений. Собственный потоковый декодер FlashDecoder превращает каждый блок в кадры сразу после его завершения, поэтому более длинный клип стоит времени и диска, а не памяти.

Дождливая улица в 4x, от 960×480 до 3840×1920, из демонстрационного набора проекта.

Улица в 4xПортрет в 4x
от 960×480 до 3840×1920, вход сверхуот 360×360 до 1440×1440, вход слева

Скорость

Два клипа, 149 и 180 кадров, через узел ReCaVSR Upscale Video на Linux с ComfyUI 0.44.0, sage attention и динамической VRAM:

Дождливая улица, от 960×480 до 3840×1920RTX 3090RTX 4090Пик VRAM 4090
bf16 transformer114 с59 с22.6 ГБ
int8 ConvRot67 с36 с21.2 ГБ

Портрет, от 360×360 до 1440×1440, с файлом int8 занимает 15 с на 4090 и 11.6 ГБ. При ограничении до карты на 12 ГБ или 8 ГБ тот же портрет всё равно завершается за 23 с и 27 с.

Файл int8 весит 6.27 ГБ против 10.6 ГБ у bf16, и на каждом кадре он остаётся примерно в 48 дБ от выхода bf16.

bf16 против int8, кропы 1:1

bf16 сверху, int8 снизу, кропы выхода 1:1.

Как запустить

  1. Установите узлы: найдите ReCaVSR video super-resolution в ComfyUI Manager, выполните comfy node install comfyui-recavsr или клонируйте ComfyUI-ReCaVSR в custom_nodes и установите зависимости.
  2. Поместите prompt.safetensors (4.2 МБ) и flashdecoder.safetensors (229 МБ) из kopper/ReCaVSR в ComfyUI/models/recavsr, затем добавьте в ту же папку либо bf16 transformer.safetensors, либо файл int8 ConvRot.
  3. Откройте Шаблоны → ComfyUI-ReCaVSR → recavsr_video_4x, загрузите клип, поставьте в очередь. Цепочка: Load Video → ReCaVSR Upscale Video → Save Video, а выход сохраняет аудио и частоту кадров входа.

Настройки, которые стоит знать

  • Scale 4: это то, для чего обучалась модель; 2 и 1.5 задокументированы в оригинальном репозитории. Размеры, не кратные 32, дополняются и затем обрезаются обратно.
  • Decoder: flashdecoder принадлежит самой модели и работает от 25 до 40 раз быстрее, чем Wan 2.2 VAE. Опция vae даёт более мелкую текстуру, если есть время.
  • color_fix: none, adain или wavelet, коррекции в стиле StableSR, если увеличение сдвигает цвет.
  • kv_offload переносит историю внимания в RAM между блоками. Он нужен для 3840×1920 на карте с 16 ГБ и стоит от 7 до 16% скорости при 1440p.
  • Без Triton оба ядра внимания откатываются к PyTorch и работают намного медленнее. Установки на Windows обычно оказываются именно здесь.

Путь bf16 требует GPU NVIDIA с compute capability 7.5 или новее для int8 GEMM; ниже этого веса деквантуются при загрузке.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
ReCaVSR: 4x апскейл видео за один шаг, теперь в ComfyUI | ComfyUI Wiki