Shakker Labs, FLUX.1-dev-ControlNet-Union-Pro-2.0 출시

Shakker Labs는 최근 FLUX.1-dev 모델을 위한 새로운 버전의 ControlNet 네트워크인 FLUX.1-dev-ControlNet-Union-Pro-2.0을 출시했습니다. 이 새로운 모델은 특히 제어 효과 향상과 모델 크기 감소 측면에서 다양한 측면이 최적화되었습니다.

새 버전의 주요 업데이트

이전 FLUX.1-dev-ControlNet-Union-Pro와 비교하여, 새 버전은 다음과 같은 중요한 개선 사항이 있습니다:

• 더 작은 모델 크기: 모드 임베딩 기능을 제거하여 모델 크기가 6.15GB에서 3.98GB로 감소
• 개선된 제어 효과: 캐니 에지 감지와 포즈 제어를 최적화하여 더 나은 제어 정밀도와 미적 효과 제공
• 제어 모드 조정: 소프트 에지(soft edge) 지원 추가, 타일(tile) 모드 지원 제거

온라인 체험

지원되는 제어 모드

이 ControlNet 모델은 다음과 같은 여러 제어 모드를 지원합니다:

• 캐니 에지 감지(Canny)
• 소프트 에지(Soft Edge)
• 깊이 맵(Depth)
• 포즈(Pose)
• 그레이스케일(Gray)

사용자는 이 모델을 일반 ControlNet처럼 사용할 수 있으며, 다른 ControlNet 모델과 결합하여 여러 제어 효과를 달성할 수 있습니다.

모델 쇼케이스

다음은 다양한 제어 모드에서의 모델 시연입니다:

권장 매개변수 설정

공식 권장 사항에는 다양한 제어 유형에 대한 다음과 같은 매개변수 설정이 포함됩니다. controlnet_conditioning_scale과 control_guidance_end 매개변수를 조정하여 더 나은 제어 효과와 세부 사항 보존을 달성할 수 있습니다:

• 캐니 에지: cv2.Canny 알고리즘 사용, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
• 소프트 에지: AnylineDetector 사용, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
• 깊이 맵: depth-anything 사용, controlnet_conditioning_scale=0.8, control_guidance_end=0.8
• 포즈: DWPose 사용, controlnet_conditioning_scale=0.9, control_guidance_end=0.65
• 그레이스케일: cv2.cvtColor 사용, controlnet_conditioning_scale=0.9, control_guidance_end=0.8

더 나은 생성 안정성을 위해 상세한 프롬프트 사용을 강력히 권장합니다. 경우에 따라 다중 조건 제어를 사용하면 더 나은 결과를 얻을 수 있습니다.

기술 세부 사항

이 ControlNet 모델은 6개의 이중 블록과 0개의 단일 블록으로 구성되며, 모드 임베딩이 제거되었습니다. 모델은 2천만 개의 고품질 일반 및 인물 이미지 데이터셋을 사용하여 512x512 해상도에서 30만 단계 동안 처음부터 훈련되었으며, BFloat16 정밀도, 배치 크기 128, 학습률 2e-5, 가이드 샘플링 범위 1-7, 텍스트 드롭아웃 비율 0.20을 적용했습니다.

관련 리소스

• InstantX/FLUX.1-dev-IP-Adapter
• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

관련 링크

• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0