Wan2.2 ComfyUI 워크플로우 완전 사용 가이드, 공식+커뮤니티 버전(Kijai, GGUF) 워크플로우 전략

튜토리얼 개요

이 튜토리얼은 ComfyUI에서 Wan2.2 비디오 생성 모델의 다양한 구현 방식과 사용 방법을 포괄적으로 소개합니다. Wan2.2는 알리바바클라우드가 출시한 차세대 멀티모달 생성 모델로, 혁신적인 MoE(Mixture of Experts) 아키텍처를 채택하여 영화급 미학 제어, 대규모 복잡 운동 생성, 정밀한 의미 준수 등의 핵심 특성을 갖추고 있습니다.

본 튜토리얼이 다루는 버전과 내용

완성된 버전:

• ✅ ComfyUI 공식 네이티브 버전 - ComfyOrg 공식이 제공하는 완전 워크플로우
• ✅ Wan2.2 5B 하이브리드 버전 - 텍스트-비디오 및 이미지-비디오를 지원하는 경량 모델
• ✅ Wan2.2 14B 텍스트-비디오 버전 - 고품질 텍스트-비디오 생성
• ✅ Wan2.2 14B 이미지-비디오 버전 - 정적 이미지에서 동적 비디오로
• ✅ Wan2.2 14B 시작-종료 프레임 비디오 생성 - 시작과 종료 프레임 기반 비디오 생성

준비 중인 버전:

• 🔄 Kijai WanVideoWrapper 버전
• 🔄 GGUF 양자화 버전 - 저사양 장치용 최적화 버전
• 🔄 Lightx2v 4steps LoRA - 빠른 생성 최적화 솔루션

Wan2.2 비디오 생성 모델 정보

Wan2.2는 혁신적인 MoE(Mixture of Experts) 아키텍처를 채택하여 고잡음 전문 모델과 저잡음 전문 모델로 구성되며, 디노이즈 시간 단계에 따라 전문 모델을 구분하여 더 고품질의 비디오 콘텐츠를 생성할 수 있습니다.

핵심 장점:

• 영화급 미학 제어: 전문 렌즈 언어, 광원, 색상, 구성 등 다차원 시각 제어 지원
• 대규모 복잡 운동: 다양한 복잡한 운동을 원활히 재현, 운동 제어성과 자연스러움 강화
• 정밀한 의미 준수: 복잡한 장면 이해, 다중 객체 생성, 창의적 의도를 더 잘 재현
• 고효율 압축 기술: 5B 버전 고압축률 VAE, VRAM 최적화, 하이브리드 훈련 지원

Wan2.2 시리즈 모델은 Apache2.0 오픈소스 라이선스를 기반으로 상업적 사용을 지원합니다. Apache2.0 라이선스는 원본 저작권 표시와 라이선스 텍스트를 유지하는 조건 하에 상업적 목적을 포함하여 이러한 모델을 자유롭게 사용, 수정, 배포할 수 있습니다.

Wan2.2 오픈소스 모델 버전 개요

Wan2.2 프롬프트 가이드 - Wan이 제공하는 상세한 프롬프트 작성 가이드

ComfyUI 공식 리소스

ComfyOrg 공식 라이브 방송 리플레이

ComfyOrg의 YouTube에는 Wan2.2를 ComfyUI에서 사용하는 방법에 대한 상세한 설명이 있습니다:

Wan2.2 ComfyUI 공식 네이티브 버전 워크플로우 사용 가이드

버전 설명

ComfyUI 공식 네이티브 버전은 ComfyOrg 팀이 제공하며, 🤗 Comfy-Org/Wan_2.2_ComfyUI_Repackaged에서 재패키징된 모델 파일을 사용하여 ComfyUI와의 최적 호환성을 보장합니다.

1. Wan2.2 TI2V 5B 하이브리드 버전 워크플로우

워크플로우 획득 방법

ComfyUI를 최신 버전으로 업데이트하고 메뉴 워크플로우 -> 템플릿 찾아보기 -> 비디오에서 “Wan2.2 5B video generation”을 찾아 워크플로우를 로드하세요

모델 파일 다운로드

확산 모델

• wan2.2_ti2v_5B_fp16.safetensors

VAE

• wan2.2_vae.safetensors

텍스트 인코더

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   └───wan2.2_ti2v_5B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan2.2_vae.safetensors

작업 단계 상세 설명

1. Load Diffusion Model 노드가 wan2.2_ti2v_5B_fp16.safetensors 모델을 로드했는지 확인
2. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드했는지 확인
3. Load VAE 노드가 wan2.2_vae.safetensors 모델을 로드했는지 확인
4. (선택사항) 이미지-비디오를 수행해야 하는 경우 단축키 Ctrl+B를 사용하여 Load image 노드를 활성화하여 이미지 업로드
5. (선택사항) Wan22ImageToVideoLatent에서 크기 설정 조정 및 비디오 총 프레임 수 length 조정 가능
6. (선택사항) 프롬프트(긍정 및 부정)를 수정하려면 번호 5의 CLIP Text Encoder 노드에서 수정
7. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

2. Wan2.2 14B T2V 텍스트-비디오 워크플로우

워크플로우 획득 방법

ComfyUI를 최신 버전으로 업데이트하고 메뉴 워크플로우 -> 템플릿 찾아보기 -> 비디오에서 “Wan2.2 14B T2V”를 찾아주세요

또는 ComfyUI를 최신 버전으로 업데이트한 후 아래 워크플로우를 다운로드하여 ComfyUI로 드래그하여 워크플로우 로드

모델 파일 다운로드

확산 모델

• wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
• wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors

VAE

• wan_2.1_vae.safetensors

텍스트 인코더

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

작업 단계 상세 설명

1. 첫 번째 Load Diffusion Model 노드가 wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
2. 두 번째 Load Diffusion Model 노드가 wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드했는지 확인
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드했는지 확인
5. (선택사항) EmptyHunyuanLatentVideo에서 크기 설정 조정 및 비디오 총 프레임 수 length 조정 가능
6. 프롬프트(긍정 및 부정)를 수정하려면 번호 6의 CLIP Text Encoder 노드에서 수정
7. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

3. Wan2.2 14B I2V 이미지-비디오 워크플로우

워크플로우 획득 방법

ComfyUI를 최신 버전으로 업데이트하고 메뉴 워크플로우 -> 템플릿 찾아보기 -> 비디오에서 “Wan2.2 14B I2V”를 찾아 워크플로우 로드

또는 ComfyUI를 최신 버전으로 업데이트한 후 아래 워크플로우를 다운로드하여 ComfyUI로 드래그하여 워크플로우 로드

아래 이미지를 입력으로 사용할 수 있습니다

모델 파일 다운로드

확산 모델

• wan2.2_i2v_high_noise_14B_fp16.safetensors
• wan2.2_i2v_low_noise_14B_fp16.safetensors

VAE

• wan_2.1_vae.safetensors

텍스트 인코더

• umt5_xxl_fp8_e4m3fn_scaled.safetensors

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_i2v_low_noise_14B_fp16.safetensors
│   │   └─── wan2.2_i2v_high_noise_14B_fp16.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

작업 단계 상세 설명

1. 첫 번째 Load Diffusion Model 노드가 wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
2. 두 번째 Load Diffusion Model 노드가 wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors 모델을 로드했는지 확인
3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드했는지 확인
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드했는지 확인
5. Load Image 노드에서 시작 프레임으로 이미지 업로드
6. 프롬프트(긍정 및 부정)를 수정하려면 번호 6의 CLIP Text Encoder 노드에서 수정
7. (선택사항) EmptyHunyuanLatentVideo에서 크기 설정 조정 및 비디오 총 프레임 수 length 조정 가능
8. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

4. Wan2.2 14B FLF2V 시작-종료 프레임 비디오 생성 워크플로우

시작-종료 프레임 워크플로우는 I2V 부분과 정확히 동일한 모델 위치를 사용합니다

워크플로우 및 소재 획득

아래 비디오 또는 JSON 형식 워크플로우를 다운로드하여 ComfyUI에서 열기

아래 소재를 입력으로 다운로드

작업 단계 상세 설명

1. 첫 번째 Load Image 노드에서 시작 프레임으로 이미지 업로드
2. 두 번째 Load Image 노드에서 시작 프레임으로 이미지 업로드
3. WanFirstLastFrameToVideo에서 크기 설정 수정
   • 워크플로우는 저VRAM 사용자가 리소스를 과도하게 소비하지 않도록 상대적으로 작은 크기를 기본 설정
   • 충분한 VRAM이 있는 경우 720P 정도 크기를 시도할 수 있음
4. 시작-종료 프레임에 따라 적절한 프롬프트 작성
5. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성 실행

Wan2.2 Kijai WanVideoWrapper ComfyUI 워크플로우

이 튜토리얼의 일부에서는 Kijai/ComfyUI-WanVideoWrapper를 사용하는 편리한 방법을 소개합니다.

관련 모델 저장소: https://huggingface.co/Kijai/WanVideo_comfy_fp8_scaled

Wan2.2 GGUF 양자화 버전 ComfyUI 워크플로우

GGUF 버전은 VRAM이 제한된 사용자에게 적합하며 다음 리소스를 제공합니다:

• bullerwins/Wan2.2-I2V-A14B-GGUF/
• bullerwins/Wan2.2-T2V-A14B-GGUF
• QuantStack/Wan2.2 GGUFs

관련 사용자 정의 노드: City96/ComfyUI-GGUF

Lightx2v 4steps LoRA 사용 설명

Lightx2v는 빠른 생성 최적화 솔루션을 제공합니다:

• Wan2.2-T2V-A14B-4steps-lora-rank64-V1