unCLIP 모델 예제 (unCLIP Model Examples)

unCLIP 모델은 SD 모델의 변형으로, 텍스트 프롬프트 외에도 이미지 개념을 입력으로 받을 수 있도록 특별히 조정된 모델입니다. 이 모델들은 CLIPVision을 사용하여 이미지를 인코딩하고, 추출된 개념을 샘플링 시 메인 모델에 전달합니다.

기본적으로 프롬프트에 이미지를 사용할 수 있게 해줍니다.

ComfyUI에서 사용하는 방법은 다음과 같습니다 (이것을 ComfyUI에 드래그하여 workflow를 얻을 수 있습니다):

noise_augmentation은 모델이 이미지 개념을 얼마나 잘 따를지를 제어합니다. 값이 낮을수록 개념을 더 잘 따릅니다.

strength는 이미지에 얼마나 강하게 영향을 미칠지를 나타냅니다.

여러 이미지를 다음과 같이 사용할 수 있습니다:

전통적인 의미에서 이미지를 혼합하지 않고, 두 이미지에서 일부 개념을 선택하여 일관된 이미지를 만듭니다.

입력 이미지:

공식 unCLIP 체크포인트는 여기에서 찾을 수 있습니다.

기존 768-v 체크포인트에서 일부 clever merging을 통해 만든 unCLIP 체크포인트는 여기 (WD1.5 beta 2 기반)와 여기 (illuminati Diffusion 기반)에서 찾을 수 있습니다.

unCLIP 체크포인트를 사용하는 좋은 방법은 2단계 워크플로우의 첫 번째 단계에 사용한 후, 두 번째 단계에서 1.x 모델로 전환하는 것입니다. 다음 이미지는 이렇게 생성되었습니다. (ComfyUI에 로드하여 workflow를 얻을 수 있습니다):