ReCaVSR, 한 단계로 4배 비디오 업스케일링 구현: 이제 ComfyUI에서 사용 가능

이 모델은 클립을 한 번에 21프레임, 그다음 8프레임씩 업스케일링하며, 블록당 한 번의 디노이징 단계를 수행하고 이전 블록의 latent와 과거 key/value 캐시를 다음으로 전달합니다. 자체 스트리밍 디코더인 FlashDecoder는 각 블록이 완료되는 즉시 프레임으로 변환하므로, 더 긴 클립은 메모리 대신 시간과 디스크를 소모합니다.

프로젝트 데모 세트에서 가져온 비 오는 거리, 4배, 960×480 → 3840×1920.

960×480 → 3840×1920, 입력은 위쪽	360×360 → 1440×1440, 입력은 왼쪽

속도

Linux에서 ComfyUI 0.44.0, sage 어텐션, 동적 VRAM으로 ReCaVSR Upscale Video 노드를 통해 149프레임과 180프레임 클립 두 개를 처리한 결과:

세로 이미지(360×360 → 1440×1440)는 int8 파일 사용 시 4090에서 15초, 11.6 GB로 줄어듭니다. 12 GB 또는 8 GB 카드로 제한해도 같은 세로 이미지는 각각 23초와 27초에 완료됩니다.

int8 파일은 6.27 GB로 bf16의 10.6 GB보다 작으며, 모든 프레임에서 bf16 출력과 약 48 dB 차이를 유지합니다.

위쪽이 bf16, 아래쪽이 int8, 출력의 1:1 크롭.

실행 방법

1. 노드 설치: ComfyUI 매니저에서 ReCaVSR video super-resolution을 검색하고, comfy node install comfyui-recavsr을 실행하거나, ComfyUI-ReCaVSR을 custom_nodes에 복제한 후 요구 사항을 설치합니다.
2. kopper/ReCaVSR의 prompt.safetensors(4.2 MB)와 flashdecoder.safetensors(229 MB)를 ComfyUI/models/recavsr에 넣은 다음, bf16 transformer.safetensors 또는 int8 ConvRot 파일을 같은 폴더에 추가합니다.
3. 템플릿 → ComfyUI-ReCaVSR → recavsr_video_4x를 열고 클립을 불러온 뒤 실행 대기열에 넣습니다. 체인은 비디오 불러오기 → ReCaVSR Upscale Video → 비디오 저장이며, 출력은 입력의 오디오와 프레임 속도를 유지합니다.

알아두면 좋은 설정

• Scale 4는 모델이 학습된 배율이며, 2와 1.5는 원본 저장소에 문서화되어 있습니다. 32의 배수가 아닌 크기는 패딩된 후 다시 크롭됩니다.
• 디코더: flashdecoder는 모델 자체 디코더로 Wan 2.2 VAE보다 25~40배 빠릅니다. 시간이 충분하다면 vae 옵션이 더 세밀한 텍스처를 그려냅니다.
• color_fix: 업스케일 결과의 색이 변한다면 none, adain, wavelet 중 StableSR 스타일 보정을 사용합니다.
• **kv_offload**는 블록 사이에 어텐션 기록을 RAM으로 옮깁니다. 16 GB 카드에서 3840×1920을 처리하려면 필요하며, 1440p에서는 속도가 7~16% 감소합니다.
• Triton이 없으면 두 어텐션 커널 모두 PyTorch로 폴백되어 훨씬 느려집니다. Windows 설치가 보통 여기에 해당합니다.

bf16 경로는 int8 GEMM을 위해 컴퓨트 성능 7.5 이상의 NVIDIA GPU가 필요하며, 그보다 낮으면 로드 시 가중치가 역양자화됩니다.

사용 가능

• 가중치: int8 트랜스포머는 PedroMarinhoDev/ReCaVSR-ComfyUI, bf16 트랜스포머와 prompt embedding, FlashDecoder는 kopper/ReCaVSR.
• 노드: PedroMarinhoDev/ComfyUI-ReCaVSR, Comfy Registry에서도 제공됩니다.
• 원본 모델 및 코드: kopperx/ReCaVSR, 논문 arXiv 2609.37831.