Flux ControlNet

이 문서는 현재 Flux 생태계에서 사용할 수 있는 ControlNet 모델을 모아놓은 것입니다.

XLabs-AI/flux-controlnet-collections

XLabs-AI/flux-controlnet-collections는 FLUX.1-dev 모델을 위한 ControlNet 체크포인트 모음입니다. 이 저장소는 Black Forest Labs에서 개발했으며, Flux 생태계에 더 많은 제어 옵션을 제공하는 것을 목표로 합니다.

주요 기능:

1. 세 가지 ControlNet 모델을 지원합니다:

   • Canny (에지 감지)
   • HED (에지 감지)
   • Depth (깊이 맵, Midas 기반)

2. 모든 모델은 1024x1024 해상도로 훈련되었으며, 1024x1024 해상도의 이미지를 생성하는 데 적합합니다.

3. v3 버전을 제공하며, 이는 개선되고 더 현실적인 버전으로 ComfyUI에서 직접 사용할 수 있습니다.

4. ComfyUI를 위한 사용자 정의 노드와 워크플로우를 제공하여 사용자가 쉽게 시작할 수 있도록 합니다.

5. 모델의 효과를 보여주는 샘플 이미지와 생성 결과를 제공합니다.

사용 방법:

1. 공식 저장소의 main.py 스크립트를 통해 사용합니다.
2. ComfyUI에서 제공된 사용자 정의 노드와 워크플로우를 사용합니다. 공식 워크플로우는 https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows 에서 확인할 수 있습니다.
3. Gradio 데모 인터페이스를 사용합니다.

라이선스:

이 모델 가중치는 FLUX.1 [dev] 비상업적 라이선스를 따릅니다.

링크:

• 모델 저장소: https://huggingface.co/XLabs-AI/flux-controlnet-collections
• GitHub 저장소: ComfyUI 워크플로우, 훈련 스크립트, 추론 데모 스크립트를 포함합니다.

다음은 XLabs-AI/flux-controlnet-collections 저장소에서 제공하는 ControlNet 모델 목록입니다:

이 프로젝트는 Flux 생태계를 위한 강력한 ControlNet 모델을 제공하여 사용자가 이미지 생성 과정을 더 정밀하게 제어할 수 있도록 합니다. 특히 에지 감지나 깊이 정보를 기반으로 한 이미지 생성에 적합합니다.

InstantX Flux Union ControlNet

InstantX Flux Union ControlNet은 FLUX.1 개발 버전을 위해 설계된 다목적 ControlNet 모델입니다. 이 모델은 여러 제어 모드를 통합하여 사용자가 이미지 생성 과정을 더 유연하게 제어할 수 있도록 합니다.

주요 기능:

1. 다중 제어 모드: Canny 에지 감지, 타일, 깊이 맵, 블러, 포즈 제어 등 다양한 제어 모드를 지원합니다.

2. 고성능: 대부분의 제어 모드가 높은 효과를 달성했으며, 특히 Canny, 타일, 깊이 맵, 블러, 포즈 제어 모드에서 높은 성능을 보입니다.

3. 지속적인 최적화: 개발 팀은 모델의 성능과 안정성을 향상시키기 위해 지속적으로 개선하고 있습니다.

4. 호환성: FLUX.1 개발 버전 기본 모델과 완벽하게 호환되며, 기존 FLUX 워크플로우에 쉽게 통합할 수 있습니다.

5. 다중 제어 추론: 여러 제어 모드를 동시에 사용할 수 있어 사용자가 더 세밀한 이미지 생성 제어를 할 수 있습니다.

사용 방법:

1. 단일 제어 모드:

   • Union ControlNet 모델을 로드합니다.
   • 원하는 제어 모드를 선택합니다 (예: Canny, 깊이 맵 등).
   • 제어 이미지와 관련 매개변수를 설정합니다.
   • 이미지를 생성합니다.

2. 다중 제어 모드:

   • Union ControlNet 모델을 FluxMultiControlNetModel로 로드합니다.
   • 각 제어 모드에 대해 다른 제어 이미지와 매개변수를 설정합니다.
   • 여러 제어 모드를 동시에 적용하여 이미지를 생성합니다.

주의 사항:

• 현재 버전은 베타 버전으로, 아직 완전히 훈련되지 않았을 수 있으므로 사용 중 일부 결함이 발생할 수 있습니다.
• 일부 제어 모드 (예: 그레이스케일 제어)는 효과가 낮을 수 있으므로, 높은 효과를 보이는 모드를 우선적으로 사용하는 것이 좋습니다.
• 전문 단일 기능 ControlNet 모델에 비해, Union 모델은 특정 작업에서 성능이 다소 떨어질 수 있지만, 더 큰 유연성과 다목적성을 제공합니다.

리소스 링크:

• 모델 다운로드: InstantX/FLUX.1-dev-Controlnet-Union-alpha

참고: 모델을 다운로드한 후, 파일 관리를 쉽게 하기 위해 파일 이름을 “flux_union_controlnet.safetensors”와 같이 더 설명적인 이름으로 변경하는 것이 좋습니다.

이 Union ControlNet 모델은 Flux 생태계를 위한 강력하고 유연한 이미지 제어 도구를 제공하며, 특히 단일 모델에서 여러 제어 기능을 구현해야 하는 사용자에게 적합합니다. 지속적인 최적화와 업데이트를 통해, Flux 플랫폼에서 가장 포괄적이고 강력한 ControlNet 모델 중 하나가 될 잠재력을 가지고 있습니다.

InstantX Flux Canny ControlNet

Union ControlNet 모델 외에도, InstantX는 Canny 에지 감지에 특화된 ControlNet 모델을 제공합니다. 이 모델은 Canny 에지 감지 알고리즘을 사용하여 이미지 생성 과정을 제어하며, 사용자가 더 정밀한 에지 제어 기능을 사용할 수 있도록 합니다.

주요 기능:

1. Canny 에지 감지에 집중: 이 모델은 Canny 에지 감지에 특화되어 있어, 에지 정보를 더 잘 처리하고 활용할 수 있습니다.

2. 고해상도 훈련: 모델은 10241024의 총 픽셀 수로 다중 스케일 환경에서 훈련되었으며, 88 배치 크기로 30k 스텝 동안 훈련되었습니다.

3. FLUX.1과 호환: FLUX.1 개발 버전을 위해 설계되었으며, FLUX 워크플로우에 원활하게 통합될 수 있습니다.

4. bfloat16 정밀도 사용: 모델은 bfloat16 정밀도를 사용하여, 계산 효율성을 높이면서도 정확성을 유지할 수 있습니다.

사용 방법:

1. 최신 버전의 Diffusers 라이브러리를 설치합니다.
2. Flux Canny ControlNet 모델과 FLUX.1 기본 모델을 로드합니다.
3. 입력 이미지를 준비하고 Canny 에지 감지를 적용합니다.
4. 감지된 에지를 제어 입력으로 사용하여 이미지를 생성합니다.

Jasperai Flux.1-dev ControlNets Series

Jasperai는 Flux.1-dev를 위한 일련의 ControlNet 모델을 개발하여 AI 이미지 생성에 더 정밀한 제어를 제공합니다. 이 시리즈는 표면 법선, 깊이 맵, 초해상도 모델을 포함하여 사용자가 다양한 창의적 도구를 사용할 수 있도록 합니다.

이 모델들에 대한 자세한 정보는 Jasperai collection page on Hugging Face에서 확인할 수 있습니다.

1. Surface Normal ControlNet Model

Surface Normal ControlNet Model은 표면 법선 맵을 사용하여 이미지 생성을 안내합니다. 이 모델은 표면 법선 정보를 최적화하여 객체 표면의 기하학적 정보를 더 잘 처리하고 활용할 수 있습니다.

주요 기능:

• 표면 법선 처리에 집중
• 객체 표면의 정밀한 기하학적 정보 제공
• 이미지 깊이 인식과 현실감 향상
• FLUX.1 개발 버전과 호환

2. Depth Map ControlNet Model

Depth Map ControlNet Model은 깊이 정보를 사용하여 이미지 생성을 제어합니다. 이 모델은 깊이 맵 정보를 최적화하여 장면의 공간 구조 정보를 더 잘 이해하고 활용할 수 있습니다.

주요 기능:

• 깊이 맵 처리에 집중
• 장면의 공간 구조 정보 제공
• 이미지의 원근감과 공간감 향상
• FLUX.1 개발 버전과 호환

3. Super-resolution ControlNet Model

Super-resolution ControlNet Model은 저해상도 이미지를 고해상도로 변환하는 데 중점을 둡니다. 이 모델은 저품질 이미지를 고해상도 버전으로 변환하여 이미지 세부 사항을 재구성하고 향상시킬 수 있습니다.

주요 기능:

• 이미지 초해상도 처리에 집중
• 저해상도 이미지를 고해상도 버전으로 변환
• 이미지 세부 사항 재구성 및 향상
• FLUX.1 개발 버전과 호환

이 모델들은 AI 이미지 생성에 더 정밀한 제어를 제공하여 창작자가 더 현실적이고 세부적인 이미지를 생성할 수 있도록 합니다. 각 모델은 특정 이미지 처리 요구에 맞게 설계되었으며, 사용자는 필요에 따라 적절한 모델을 선택하여 다양한 이미지 생성 효과를 달성할 수 있습니다.