Ref2VA VSA: ComfyUI H3 레퍼런스 기반 비디오 생성용 희소 어텐션 노드

Ref2VA가 밀집 스케줄에 머문 이유

VSA(비디오 희소 어텐션)는 비디오 토큰을 3D 시공간 타일로 묶고 각 블록마다 대부분을 프루닝하여, FastH3 체크포인트가 트랜스포머 순전파마다 치르는 비용을 줄이는 방식입니다. 레퍼런스 기반 비디오 생성은 이 레이아웃을 깨뜨립니다. Ref2VA는 생성되는 비디오 시퀀스 앞에 동적 멀티모달 세그먼트, 레퍼런스 이미지 latent, 레퍼런스 오디오 latent, 프롬프트 토큰을 덧붙입니다.

단순한 타일링은 서로 다른 모달리티의 토큰을 같은 타일에 넣어 조건화 마스크를 손상시키고 캐릭터 정체성을 무너뜨립니다. 그래서 레퍼런스 기반 H3 생성은 밀집 어텐션 경로를 계속 사용했고, 텍스트 기반 비디오 생성만 희소 커널로 옮겨갔습니다.

2단계 어텐션 패치

Ref2VA VSA는 새 체크포인트 대신 설계된 어텐션 레이아웃으로 이 문제를 해결합니다:

1. 밀집 제외 프리픽스: 지오메트리 매퍼가 텍스트, 레퍼런스 이미지, 레퍼런스 오디오 토큰을 top-k 프루닝에서 제외되는 세그먼트 단위 타일로 분리합니다. 레퍼런스 토큰은 완전한 밀집 상태로 남으므로 정체성 준수를 속도와 맞바꾸지 않습니다.
2. 생성 비디오만 희소 처리: top-k 프루닝은 생성된 비디오 키 타일에만 엄격히 적용됩니다.
3. 게이트 이식: FastH3 VSA 체크포인트의 학습된 to_gate_compress 투영 행렬 50개를 Ref2VA H3 블록에 연결한 뒤, 동일한 tile-64 Sol/VSA 커널을 패치된 모델 위에서 실행합니다.

작성자의 비교 실행에 사용된 레퍼런스 이미지입니다.

작성자는 동일한 머신, 동일한 프롬프트, 동일한 레퍼런스 이미지로 1344x768 해상도에서 동일 시드 비교 결과를 공개했습니다. 두 결과 모두 같은 캐릭터 레퍼런스를 사용합니다:

Ref2VA VSA: 4스텝, 비디오 희소도 75%, 약 2.2배 빠름	Video Delta Net (VDN-H3): 8스텝

밀집 방식의 기본 H3 스케줄과 비교해 이 저장소는 약 9배의 속도 향상을 보고하며, Video Delta Net 경로보다는 8스텝 대비 4스텝에서 약 2.2배 빠릅니다.

워크플로에 연결하기

작성자의 4스텝 Ref2VA VSA 결과 (1344x768).

패치 노드는 모델 로더와 샘플링 체인 사이에 위치합니다:

UNETLoader (Ref2VA INT8)
   -> LoraLoaderModelOnly (turbo 4-step LoRA, strength 1.0)
   -> Ref2VAVSAGatePatch (fasth3_vsa_gate.safetensors, sparsity 0.75)
   -> MiniMaxH3SigmaShift (shift_video 12, shift_audio 3)
   -> BasicScheduler (steps 4) + BasicGuider -> SamplerCustomAdvanced (euler)

이 노드는 FastH3/VSA 카테고리에 포함되며, 모델과 models/loras/에 있는 gate safetensors 파일, 그리고 sparsity 값을 입력으로 받습니다. README의 4스텝 레시피는 simple 스케줄러와 0.75 희소도를 사용합니다. 노드 자체 설명은 0.50에서 0.70 사이에서 시작해 동일한 밀집 시드와 비교한 뒤 값을 더 높이도록 권장합니다. 같은 카테고리에는 원본 텍스트 기반 비디오 생성 패치인 FastH3 VSA-H3 Patch (tile64)도 있으므로 두 경로가 하나의 설치를 공유할 수 있습니다.

워크플로

저장소에는 더 가벼운 UI 미리보기 실행을 위한 ref2va_vsa_4step_with_preview.json과 API 형식용 ref2va_vsa_4step_api.json도 포함되어 있으며, 로컬에 FastH3 VSA 체크포인트가 있다면 fasth3_vsa_gate.safetensors를 재생성할 수 있는 tools/extract_vsa_gate.py도 제공합니다.

사용 가능 여부

Ref2VA VSA는 Apache-2.0 커스텀 노드입니다. Kablex/ComfyUI-Ref2VA-VSA를 ComfyUI/custom_nodes에 복제하고 재시작한 뒤, FastH3/VSA 아래에서 노드를 찾으면 됩니다. H3를 지원하는 최근 ComfyUI와 CUDA Sol-Attention 프리미티브가 포함된 comfy-kitchen이 필요합니다. 희소 커널 자체가 이 패키지에서 제공되기 때문입니다.