ComfyUI에서 여러 ControlNet을 사용하는 방법

ControlNet에서는 여러 ControlNet을 결합하여 더 정밀한 제어를 할 수 있습니다. 예를 들어 캐릭터를 생성할 때 팔다리의 위치가 어긋나는 경우, depth를 오버레이하여 팔다리의 올바른 앞뒤 관계를 보장할 수 있습니다.

이 문서에서는 OpenPose와 Lineart를 사용하여 시각적 스타일 변환을 구현합니다.

• OpenPose는 캐릭터의 자세를 제어하는 데 사용됩니다.
• Lineart는 캐릭터의 의상과 얼굴 특징의 일관성을 유지하는 데 사용됩니다.

핵심은 여러 ControlNet을 사용할 때 Apply ControlNet 노드의 조건(conditioning)을 연결하는 것입니다.

ControlNet의 단계 제어에 대한 자세한 내용은 Apply ControlNet 노드 사용 설명서를 참조하세요.

ComfyUI에서 여러 ControlNet 사용 단계

1. 필요한 플러그인 설치

ComfyUI Wiki의 다른 튜토리얼을 학습했다면 해당 플러그인이 이미 설치되어 있을 것이므로 이 단계를 건너뛸 수 있습니다.

ComfyUI Core에는 해당 Depth 이미지 전처리기가 포함되어 있지 않으므로, 해당 전처리기 플러그인을 미리 다운로드해야 합니다. 이 튜토리얼에서는 depth 맵을 생성하기 위해 ComfyUI ControlNet Auxiliary Preprocessors 플러그인을 사용해야 합니다.

설치에는 ComfyUI Manager를 사용하는 것을 권장합니다. 플러그인 설치에 대한 자세한 내용은 ComfyUI 플러그인 설치 튜토리얼을 참조하세요.

최신 버전의 ComfyUI Desktop에는 ComfyUI Manager 플러그인이 이미 사전 설치되어 있습니다.

2. 모델 다운로드

먼저 다음 모델을 다운로드해야 합니다:

SD1.5 버전의 모델은 본인 컴퓨터에 있는 모델을 사용할 수 있습니다. 다만 이 튜토리얼에서는 dreamshaper_8 모델을 예로 사용합니다.

모델 파일을 다음 구조에 따라 배치하세요:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11p_sd15_openpose.pth
│   │       └── control_v11p_sd15_lineart.pth

3. 워크플로 파일 및 입력 이미지

아래의 워크플로 파일과 이미지 파일을 다운로드하세요.

4. ComfyUI에서 워크플로를 가져와 이미지 생성하기

1. 1 단계에서 해당 SD1.5 체크포인트 모델을 로드합니다.
2. 2 단계에서 입력 이미지를 로드합니다.
3. 3 단계에서 OpenPose ControlNet 모델을 로드합니다.
4. 4 단계에서 Lineart ControlNet 모델을 로드합니다.
5. Queue를 사용하거나 단축키 Ctrl+Enter를 눌러 워크플로를 실행하여 이미지를 생성합니다.

ControlNet 결합 시나리오

1. 건축 시각화 디자인

ControlNet 조합
Canny Edge + Depth Map + MLSD Line Detection

매개변수 구성 계획

2. 동적 캐릭터 생성

ControlNet 조합
OpenPose Pose + Lineart Sketch + Scribble Color Blocks

매개변수 구성 계획

3. 제품 콘셉트 디자인

ControlNet 조합
HED Soft Edge + Depth Depth of Field + Normal Normal Map

매개변수 구성 계획

4. 장면 분위기 렌더링

ControlNet 조합
Segmentation Partition + Shuffle Color Tone + Depth Layers

레이어 제어 전략