Skip to content
Aidez à Construire une Meilleure Base de Connaissances ComfyUI Devenir Parrain
ActualitésShakker Labs publie FLUX.1-dev-ControlNet-Union-Pro-2.0
Aucun article pour le moment. Revenez plus tard !

Shakker Labs publie FLUX.1-dev-ControlNet-Union-Pro-2.0

Shakker Labs a récemment publié une nouvelle version du réseau ControlNet pour le modèle FLUX.1-dev - FLUX.1-dev-ControlNet-Union-Pro-2.0. Ce nouveau modèle a été optimisé sous plusieurs aspects, notamment en améliorant les effets de contrôle et en réduisant la taille du modèle.

Principales mises à jour de la nouvelle version

Par rapport au précédent FLUX.1-dev-ControlNet-Union-Pro, la nouvelle version présente les améliorations significatives suivantes :

  • Taille de modèle réduite : Suppression de la fonction d’intégration de mode, réduisant la taille du modèle de 6,15 Go à 3,98 Go
  • Effets de contrôle améliorés : Optimisation de la détection de contours Canny et du contrôle de pose, offrant une meilleure précision de contrôle et des effets esthétiques
  • Ajustements des modes de contrôle : Ajout du support pour les contours adoucis (soft edge) mais suppression du support pour le mode mosaïque (tile)

Expérience en ligne

flux-1-dev-controlnet-union-pro-2-0

Modes de contrôle pris en charge

Ce modèle ControlNet prend en charge plusieurs modes de contrôle, notamment :

  • Détection de contours Canny
  • Contours adoucis (Soft Edge)
  • Profondeur (Depth)
  • Pose
  • Niveaux de gris (Gray)

Les utilisateurs peuvent utiliser ce modèle comme un ControlNet ordinaire, et il peut être combiné avec d’autres modèles ControlNet pour obtenir plusieurs effets de contrôle combinés.

Démonstration du modèle

Voici des démonstrations du modèle dans différents modes de contrôle :

Effet de contrôle de contours Canny

Effet de contrôle de contours adoucis

Effet de contrôle de pose

Effet de contrôle de profondeur

Effet de contrôle de niveaux de gris

Paramètres recommandés

La recommandation officielle pour les différents types de contrôle comprend les paramètres suivants. Vous pouvez ajuster les paramètres controlnet_conditioning_scale et control_guidance_end pour obtenir de meilleurs effets de contrôle et une meilleure préservation des détails :

  • Contours Canny : Utilisant l’algorithme cv2.Canny, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
  • Contours adoucis : Utilisant AnylineDetector, controlnet_conditioning_scale=0.7, control_guidance_end=0.8
  • Profondeur : Utilisant depth-anything, controlnet_conditioning_scale=0.8, control_guidance_end=0.8
  • Pose : Utilisant DWPose, controlnet_conditioning_scale=0.9, control_guidance_end=0.65
  • Niveaux de gris : Utilisant cv2.cvtColor, controlnet_conditioning_scale=0.9, control_guidance_end=0.8

Pour une meilleure stabilité de génération, il est fortement recommandé d’utiliser des prompts détaillés. Dans certains cas, l’utilisation de contrôles à conditions multiples donnera de meilleurs résultats.

Détails techniques

Ce modèle ControlNet se compose de 6 blocs doubles et 0 bloc simple, avec suppression de l’intégration de mode. Le modèle a été entraîné à partir de zéro pendant 300 000 étapes à une résolution de 512x512 en utilisant un ensemble de données de 20 millions d’images générales et de portraits de haute qualité, avec une précision BFloat16, une taille de lot de 128, un taux d’apprentissage de 2e-5, une plage d’échantillonnage guidé de 1 à 7, et un taux d’abandon de texte de 0,20.

Ressources connexes

Liens connexes