Wan2.2 Fun Control ComfyUI 워크플로우 완전 사용 가이드, 공식+커뮤니티 버전(Kijai, GGUF)

이 튜토리얼은 ComfyUI에서 Wan2.2 Fun Control 비디오 제어 생성 모델의 다양한 구현 방식과 사용 방법을 포괄적으로 소개합니다. Wan2.2 Fun Control은 알리바바클라우드가 출시한 차세대 비디오 생성 및 제어 모델로, 혁신적인 제어 코드(Control Codes) 메커니즘을 도입하여 딥러닝과 멀티모달 조건 입력과 결합함으로써 사전 설정된 제어 조건에 부합하는 고품질 비디오를 생성할 수 있습니다.

본 튜토리얼이 다루는 버전과 내용

완성된 버전:

• ✅ ComfyUI 공식 네이티브 버전 - ComfyOrg 공식 문서에서 제공하는 완전 워크플로우
• ✅ Wan2.2 Fun Control 14B 비디오 제어 버전 - 고품질 멀티모달 제어 비디오 생성

준비 중인 버전:

• 🔄 Kijai WanVideoWrapper 버전 - 커뮤니티 개발의 편리한 래퍼
• 🔄 GGUF 양자화 버전 - 저사양 장치용 최적화 버전

모델 기술 특징

Wan2.2 Fun Control은 Wan2.2 아키텍처를 기반으로 하여 비디오 제어 생성을 위해 특별히 최적화되었으며, 다음과 같은 핵심 특성을 갖추고 있습니다:

핵심 장점:

• 멀티모달 제어: Canny(선화), Depth(깊이), OpenPose(인체 포즈), MLSD(기하 에지) 등 다양한 제어 조건을 지원하며, 궤적 제어도 지원
• 고품질 비디오 생성: Wan2.2 아키텍처를 기반으로 영화급 품질의 비디오 출력
• 다국어 지원: 중국어, 영어 등 다국어 프롬프트 입력 지원
• 멀티 해상도 지원: 512×512, 768×768, 1024×1024 등 해상도의 비디오 생성 지원, 다양한 시나리오 요구에 적응

오픈소스 라이선스 설명

Wan2.2 Fun Control 시리즈 모델은 Apache2.0 오픈소스 라이선스를 기반으로 상업적 사용을 지원합니다. Apache2.0 라이선스는 원본 저작권 표시와 라이선스 텍스트를 유지하는 조건 하에 상업적 목적을 포함하여 이러한 모델을 자유롭게 사용, 수정, 배포할 수 있습니다.

Wan2.2 Fun Control 오픈소스 모델 버전 개요

관련 코드 저장소

• VideoX-Fun GitHub 저장소 - 공식 제공의 완전 구현 코드
• Wan2.2 Fun Control 공식 문서 - 상세한 모델 설명과 사용 가이드

Wan2.2 Fun Control ComfyUI 공식 네이티브 버전 워크플로우 사용 가이드

버전 설명

ComfyUI 공식 네이티브 버전은 ComfyOrg 팀이 제공하며, 재패키징된 모델 파일을 사용하여 ComfyUI와의 최적 호환성을 보장합니다. 이 버전은 표준 모드와 Lightx2v 4단계 LoRA 가속 모드를 모두 지원합니다.

성능 비교 테스트

다음은 RTX4090D 24GB VRAM GPU를 사용한 640*640 해상도, 81프레임 길이의 테스트 결과입니다:

4단계 LoRA를 사용함으로써 워크플로우를 처음 사용하는 사용자의 체험이 좋아지지만, 비디오의 다이나믹스에 손실이 발생할 수 있습니다. 기본적으로 가속 LoRA 버전을 활성화했습니다. 다른 워크플로우 세트를 활성화해야 하는 경우, 선택 후 Ctrl+B를 사용하세요.

1. Wan2.2 Fun Control 비디오 제어 생성 ComfyUI 워크플로우

워크플로우 획득 방법

아래 비디오 또는 JSON 파일을 다운로드하여 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요

아래 이미지 및 비디오를 다운로드해 주세요. 입력으로 사용할 것입니다.

여기서는 전처리된 비디오를 사용하여 직접 제어 비디오 생성에 사용할 수 있습니다

모델 파일 다운로드

다음 모델은 Wan_2.2_ComfyUI_Repackaged에서 찾을 수 있습니다

확산 모델

• wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
• wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors

Wan2.2-Lightning LoRA (선택사항, 가속용)

• wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
• wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors

VAE

• wan_2.1_vae.safetensors

텍스트 인코더

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

작업 단계 상세 설명

1. High noise 모델 및 LoRA 로드

• Load Diffusion Model 노드가 wan2.2_fun_control_high_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
• LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드했는지 확인

2. Low noise 모델 및 LoRA 로드

• Load Diffusion Model 노드가 wan2.2_fun_control_low_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
• LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드했는지 확인

3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드했는지 확인
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드했는지 확인
5. Load Image 노드에서 시작 프레임 업로드
6. 두 번째 Load video 노드에서 포즈 비디오 제어. 제공된 비디오는 전처리되어 직접 사용 가능
7. 제공된 비디오가 전처리된 포즈 비디오이므로, 해당 비디오 이미지 전처리 노드를 비활성화해야 합니다. 선택 후 Ctrl + B`를 사용하여 비활성화할 수 있습니다
8. Prompt 수정 - 중국어와 영어 모두 지원
9. Wan22FunControlToVideo에서 해당 비디오 크기 수정. 기본적으로 저VRAM 사용자가 이 워크플로우를 사용할 때 시간 소모를 피하기 위해 640*640 해상도로 설정
10. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

추가 설명

ComfyUI의 내장 노드에서 전처리기 노드는 Canny 전처리기만 있으므로, ComfyUI-comfyui_controlnet_aux와 유사한 것을 사용하여 다른 유형의 이미지 전처리를 구현할 수 있습니다

Wan2.2 Fun Control Kijai WanVideoWrapper ComfyUI 워크플로우

이 튜토리얼의 일부에서는 Kijai/ComfyUI-WanVideoWrapper를 사용하는 편리한 방법을 소개합니다.

관련 모델 저장소: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Wan2.2 Fun Control GGUF 양자화 버전 ComfyUI 워크플로우

GGUF 버전은 VRAM이 제한된 사용자에게 적합하며 다음 리소스를 제공합니다:

QuantStack/Wan2.2-Fun-A14B-Control-GGUF

관련 사용자 정의 노드: City96/ComfyUI-GGUF

관련 리소스

Wan2.2 Fun 공식 리소스

• Wan2.2 Fun GitHub 저장소
• Wan2.2 Fun Control 공식 문서

커뮤니티 리소스

• ComfyUI 공식 Discord
• Wan2.2 커뮤니티 토론