ComfyUI에서 여러 ControlNet 조합 사용 튜토리얼

ControlNet에서는 여러 ControlNet을 조합하여 보다 정밀한 제어를 할 수 있습니다. 예를 들어, 인물 생성 시 인물의 신체가 어긋나는 경우, depth를 추가하여 올바른 신체 전후 관계를 보장할 수 있습니다.

이 글에서는 OpenPose와 Lineart를 사용하여 화면 스타일의 변화를 구현할 것입니다.

• OpenPose는 인물의 자세를 제어하는 데 사용됩니다.
• Lineart는 인물의 의상과 얼굴 특징 등을 일관되게 유지하는 데 사용됩니다.

사실 여러 ControlNet을 사용할 때 Apply ControlNet 노드의 조건을 연결하는 것이 주된 목적입니다.

ControlNet의 단계 제어 등에 대한 자세한 내용은 Apply ControlNet 노드 사용 설명서를 참조하세요.

ComfyUI에서 여러 ControlNet 사용 단계

1. 필요한 플러그인 설치

만약 ComfyUI Wiki의 다른 튜토리얼을 학습한 적이 있다면, 해당 플러그인을 이미 설치했을 것입니다. 이 단계는 생략할 수 있습니다.

ComfyUI Core는 Depth 이미지 전처리기를 포함하고 있지 않으므로, 해당 전처리기 플러그인을 미리 다운로드해야 합니다. 본 튜토리얼에서는 ComfyUI ControlNet Auxiliary Preprocessors 플러그인을 사용하여 깊이 맵을 생성해야 합니다.

여기서는 ComfyUI Manager를 사용하여 설치하는 것을 추천합니다. 플러그인 설치 방법에 대한 자세한 내용은 ComfyUI 플러그인 설치 튜토리얼을 참조하세요.

최신 버전 ComfyUI Desktop에는 ComfyUI Manager 플러그인이 이미 설치되어 있습니다.

2. 모델 다운로드

먼저 다음 모델을 다운로드해야 합니다:

SD1.5 버전의 모델은 본인의 컴퓨터에 있는 모델을 사용할 수 있으며, 본 튜토리얼에서는 예시로 dreamshaper_8 모델을 사용합니다.

모델 파일은 다음 구조에 따라 배치하세요:

📁ComfyUI
├── 📁models
│   ├── 📁checkpoints
│   │   └── 📁SD1.5
│   │       └── dreamshaper_8.safetensors
│   ├── 📁controlnet
│   │   └── 📁SD1.5
│   │       └── control_v11f1p_sd15_openpose.pth
│   │       └── control_v11p_sd15_lineart.pth

3. 작업 흐름 파일 및 입력 이미지

아래의 작업 흐름 파일과 이미지 파일을 다운로드하세요.

4. ComfyUI에서 작업 흐름을 가져와 이미지를 생성하기

1. 번호 1에서 해당 SD1.5 체크포인트 모델을 로드합니다.
2. 번호 2에서 Load Image를 통해 입력 이미지를 로드합니다.
3. 번호 3에서 OpenPose ControlNet 모델을 로드합니다.
4. 번호 4에서 Lineart ControlNet 모델을 로드합니다.
5. Queue를 사용하거나 단축키 Ctrl+Enter를 눌러 작업 흐름을 실행하여 이미지를 생성합니다.

ControlNet 조합 사용의 장면

1. 건축 시각화 디자인

ControlNet 조합
Canny 엣지 + Depth 깊이 맵 + MLSD 직선 감지

파라미터 구성 방안

2. 캐릭터 동적 생성

ControlNet 조합
OpenPose 자세 + Lineart 선화 + Scribble 색 블록

파라미터 구성 방안

3. 제품 개념 디자인

ControlNet 조합
HED 부드러운 엣지 + Depth 심도 + Normal 법선 맵

파라미터 구성 방안

4. 장면 분위기 렌더링

ControlNet 조합
Segmentation 분할 + Shuffle 색조 + Depth 레이어

분층 제어 전략