X에서 팔로우ComfyUI WikiComfyUI Wiki는 커뮤니티에서 개인적으로 관리하는 비공식 사이트입니다. ComfyUI 공식 문서 는 이 사이트와 별개의 공식 사이트입니다.

ControlNet 모델

이 문서는 제가 정리한 ControlNet 관련 모델 리소스를 모아놓은 것입니다. 다양한 버전의 모델 정보를 보려면 클릭하세요.

아래는 제가 정리한 ControlNet 관련 모델 리소스입니다. 다양한 버전의 모델 정보를 보려면 클릭하세요.

Flux ControlNet Model Collection
Flux ControlNet Model Collection

이 문서는 XLabs-AI, InstantX, Jasperai가 개발한 다양한 ControlNet 모델을 포함하여 Flux 생태계에서 사용할 수 있는 ControlNet 모델을 모아놓은 것입니다. 여기에는 에지 감지, 깊이 맵, 표면 법선 등 여러 제어 방법이 포함됩니다.

Flux
ControlNet for Stable Diffusion XL
ControlNet for Stable Diffusion XL

이 문서는 Stable Diffusion XL 모델에 사용할 수 있는 다양한 ControlNet 모델을 여러 저자가 개발한 것을 포함하여 정리한 것입니다.

Sdxl
ControlNet v1.1 for Stable Diffusion 1.5 및 2.0
ControlNet v1.1 for Stable Diffusion 1.5 및 2.0

이 문서는 ComfyUI-Wiki에 의해 정리된 SD1.5 / 2.0을 지원하는 다양한 유형의 ControlNet 모델을 모아놓은 것입니다.

Sd1.5
ControlNet v1.0 for SD 1.5
ControlNet v1.0 for SD 1.5

이 문서는 ControlNet의 원작자인 lllyasviel이 제공한 초기 모델 리소스를 모아놓은 것입니다.

Sd1.5

ControlNet이란 무엇이며, 그 목적은 무엇인가요?

ControlNet은 Stable Diffusion 모델의 확장으로, 이미지 생성 과정을 더 세밀하게 제어할 수 있도록 합니다. 사용자의 요구에 맞춘 더 정밀하고 맞춤화된 이미지 출력을 가능하게 합니다.

ControlNet의 기능과 특징

  1. 향상된 제어력

    • ControlNet은 스케치, 마스크, 특정 조건과 같은 추가 입력을 제공하여 이미지 생성 과정을 안내합니다. 이는 마치 예술가에게 대략적인 스케치를 주고 그것을 바탕으로 그림을 그리도록 요청하는 것과 같습니다.
  2. 개선된 정확성

    • ControlNet이 없으면 생성된 이미지가 사용자의 기대와 다를 수 있습니다. 추가적인 제어 신호를 제공함으로써, ControlNet은 모델이 사용자의 의도를 더 정확하게 이해하도록 도와주어 설명에 더 잘 맞는 이미지를 생성합니다.
  3. 다양한 응용

    • ControlNet은 예술가가 창의적인 아이디어를 다듬는 것을 돕거나 디자이너가 디자인 초안을 빠르게 반복하고 최적화하는 데 도움을 줄 수 있는 다양한 시나리오에 적용될 수 있습니다.

쉽게 이해하기 위한 비유

Stable Diffusion을 재능 있지만 다소 예측 불가능한 화가로 상상해 보세요. 이 화가는 당신의 설명에 따라 그림을 그릴 수 있습니다(예: "화창한 해변 장면"). 그러나 때때로 화가는 해변에 거대한 파란 코끼리와 같은 예상치 못한 세부 사항을 포함할 수 있습니다.

ControlNet은 세심한 미술 강사처럼 작용하여 화가에게 더 자세한 청사진을 제공하고 포함할 것과 피할 것을 명시합니다. 예를 들어, 강사는 "해변에 코끼리는 없지만, 우산과 해변 의자는 포함하세요."라고 말할 수 있습니다. 이렇게 하면 화가는 당신의 기대에 더 부합하는 해변 장면을 만들 수 있습니다.

ControlNet을 사용하면 Stable Diffusion은 사용자의 설명의 본질을 포착할 뿐만 아니라 사용자의 지침에 따라 더 정밀하고 예상된 결과를 생성합니다.