Wan2.2 Fun InP ComfyUI 워크플로우 완전 사용 가이드, 공식+커뮤니티 버전(Kijai, GGUF)

튜토리얼 개요

이 튜토리얼은 ComfyUI에서 Wan2.2 Fun InP 시작-종료 프레임 비디오 생성 모델의 다양한 구현 방식과 사용 방법을 포괄적으로 소개합니다. Wan2.2 Fun InP는 알리바바클라우드가 출시한 전문 시작-종료 프레임 제어 비디오 생성 모델로, 시작 프레임과 종료 프레임 이미지 입력을 지원하여 중간 전환 비디오를 생성함으로써 창작자에게 더 강한 창의적 제어력을 제공합니다.

본 튜토리얼이 다루는 버전과 내용

완성된 버전:

• ✅ ComfyUI 공식 네이티브 버전 - ComfyOrg 공식이 제공하는 완전 워크플로우
• ✅ Wan2.2 Fun InP 14B 시작-종료 프레임 버전 - 고품질 시작-종료 프레임 제어 비디오 생성

준비 중인 버전:

• 🔄 Kijai WanVideoWrapper 버전 - 커뮤니티 개발의 편리한 래퍼
• 🔄 GGUF 양자화 버전 - 저사양 장치용 최적화 버전

모델 기술 특징

Wan2.2 Fun InP는 Wan2.2 아키텍처를 기반으로 하여 시작-종료 프레임 제어 비디오 생성을 위해 특별히 최적화되었으며, 다음과 같은 핵심 특성을 갖추고 있습니다:

핵심 장점:

• 시작-종료 프레임 제어: 시작 프레임과 종료 프레임 이미지 입력을 지원하여 중간 전환 비디오를 생성함으로써, 비디오 일관성과 창의적 자유도를 향상
• 고품질 비디오 생성: Wan2.2 아키텍처를 기반으로 영화급 품질의 비디오 출력
• 멀티 해상도 지원: 512×512, 768×768, 1024×1024 등 해상도의 비디오 생성 지원, 다양한 시나리오 요구에 적응

Wan2.2 Fun InP 시리즈 모델은 Apache2.0 오픈소스 라이선스를 기반으로 상업적 사용을 지원합니다. Apache2.0 라이선스는 원본 저작권 표시와 라이선스 텍스트를 유지하는 조건 하에 상업적 목적을 포함하여 이러한 모델을 자유롭게 사용, 수정, 배포할 수 있습니다.

Wan2.2 Fun InP 오픈소스 모델 버전 개요

공식 학습 리소스

관련 코드 저장소

• VideoX-Fun GitHub 저장소 - 공식 제공의 완전 구현 코드
• Wan2.2 Fun 공식 문서 - 상세한 모델 설명과 사용 가이드

Wan2.2 Fun InP ComfyUI 공식 네이티브 버전 워크플로우 사용 가이드

버전 설명

ComfyUI 공식 네이티브 버전은 ComfyOrg 팀이 제공하며, 재패키징된 모델 파일을 사용하여 ComfyUI와의 최적 호환성을 보장합니다. 이 버전은 표준 모드와 Lightx2v 4단계 LoRA 가속 모드를 모두 지원합니다.

성능 비교 테스트

다음은 RTX4090D 24GB VRAM GPU를 사용한 640*640 해상도, 81프레임 길이의 테스트 결과입니다:

가속 LoRA 사용으로 인해 속도 향상이 현저하지만, 다이나믹스에 일부 손실이 있습니다. 저VRAM 사용자에게는 더 사용자 친화적입니다. 따라서 제공되는 두 워크플로우 중에서, 가속 LoRA 버전이 기본적으로 활성화되어 있습니다. 다른 워크플로우를 활성화해야 하는 경우, 선택 후 Ctrl+B를 사용하세요.

1. Wan2.2 Fun InP 시작-종료 프레임 비디오 생성 ComfyUI 워크플로우

워크플로우 획득 방법

아래 소재를 시작-종료 프레임으로 사용

모델 파일 다운로드

확산 모델

• wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
• wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors

Lightning LoRA (선택사항, 가속용)

• wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
• wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors

VAE

• wan_2.1_vae.safetensors

텍스트 인코더

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

작업 단계 상세 설명

1. High noise 모델 및 LoRA 로드

• Load Diffusion Model 노드가 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
• LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드했는지 확인

2. Low noise 모델 및 LoRA 로드

• Load Diffusion Model 노드가 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
• LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드했는지 확인

3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드했는지 확인
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드했는지 확인
5. 시작-종료 프레임 이미지 업로드, 각각 시작-종료 프레임 이미지 소재를 업로드
6. Prompt 그룹에서 프롬프트 입력
7. WanFunInpaintToVideo 노드 크기 및 비디오 길이 조정
   • width와 height의 치수를 조정, 기본값은 640, 작은 크기를 설정했으므로 필요에 따라 수정 가능
   • length를 조정, 이는 비디오 총 프레임 수입니다. 현재 워크플로우 fps는 16입니다. 5초의 비디오를 생성하는 경우, 5*16 = 80을 설정해야 합니다
8. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

Wan2.2 Fun InP Kijai WanVideoWrapper ComfyUI 워크플로우

이 튜토리얼의 일부에서는 Kijai/ComfyUI-WanVideoWrapper를 사용하는 편리한 방법을 소개합니다.

관련 모델 저장소: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Wan2.2 Fun InP GGUF 양자화 버전 ComfyUI 워크플로우

GGUF 버전은 VRAM이 제한된 사용자에게 적합하며 다음 리소스를 제공합니다:

QuantStack/Wan2.2-Fun-A14B-InP-GGUF

관련 사용자 정의 노드: City96/ComfyUI-GGUF