ControlNet v1.0 for SD 1.5
저자: lllyasviel
GitHub 저장소: https://github.com/lllyasviel/ControlNet
Hugging Face 저장소: https://huggingface.co/lllyasviel/ControlNet/tree/main
호환 가능한 Stable Diffusion 버전: stable diffusion SD1.5, 2.0
여기에는 ControlNet의 원작자인 lllyasviel이 제공한 초기 모델 리소스가 모아져 있습니다.
ControlNet v1.0 모델 파일 및 다운로드 링크
| 파일 이름 | 크기 | 업데이트 시간 | 설명 | 다운로드 링크 |
|---|---|---|---|---|
control_sd15_canny.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_depth.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_hed.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_mlsd.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_normal.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_openpose.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_scribble.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 | |
control_sd15_seg.pth | 5.71 GB | 2023년 2월 | 다운로드 링크 |
ComfyUI에서 ControlNet 모델 사용 방법
ControlNet 모델 사용법은 다음 기사에서 다룹니다:
다음 주제를 다룰 것입니다:
- ComfyUI에 ControlNet 모델 설치 방법
- ComfyUI에서 ControlNet 모델 호출 방법
- ComfyUI ControlNet 워크플로우 및 예제
- 여러 ControlNet 모델 사용 방법 등
ControlNet 원리
ControlNet의 기본 원리는 추가적인 제어 조건을 추가하여 확산 모델이 이미지를 생성하도록 안내하는 것입니다. 구체적으로, 원래의 신경망을 “잠긴” 복사본과 “훈련 가능한” 복사본으로 두 버전으로 복제합니다. 사용 중에는 훈련 가능한 복사본이 새로운 제어 조건에 따라 학습하고 조정하며, 잠긴 복사본은 원래의 가중치를 변경하지 않고 유지하여 확산 모델 자체의 생성 효과가 영향을 받지 않도록 합니다.
ControlNet 사용 사례
Stable Diffusion ControlNet 1.0은 다양한 조건을 통해 이미지 생성을 제어할 수 있는 강력한 플러그인입니다. 다양한 유형의 이미지 생성 작업에서 이 플러그인은 원하는 효과를 달성하기 위해 유연하게 적용될 수 있습니다. 다음은 몇 가지 구체적인 응용 방법입니다:
-
정밀한 이미지 제어 ControlNet은 에지 감지, 스케치 처리, 인체 자세와 같은 조건에 따라 이미지 생성을 제어할 수 있습니다. 예를 들어, 특정 인물의 세부 묘사가 필요할 때 이러한 조건을 정의하여 정밀한 이미지 생성을 달성할 수 있습니다.
-
고정된 구성 및 자세 정의 ControlNet은 사용자가 이미지의 구성을 고정하고 자세를 정의할 수 있도록 하여 기대에 부합하는 이미지를 생성할 수 있습니다. 이는 특정 동작이나 자세가 필요한 캐릭터 디자인에 특히 유용합니다.
-
윤곽선 그리기 및 선화 생성 ControlNet을 사용하면 단순한 선화에서 풍부하고 정교한 일러스트레이션을 생성할 수 있습니다. 이는 예술적 창작에서 매우 실용적이며, 특히 단순한 선에서 복잡한 이미지를 구축할 때 유용합니다.
-
초상화에서 애니메이션 스타일 효과 ControlNet은 실제 초상화를 애니메이션 스타일로 변환하는 데에도 사용할 수 있으며, 원본 이미지의 캐릭터의 헤어스타일과 머리 색상을 정확하게 재현할 수 있습니다. 이 기능은 애니메이션 제작 및 캐릭터 디자인에 매우 유용합니다.