Skip to content
Aidez à Construire une Meilleure Base de Connaissances ComfyUI Devenir Parrain
ActualitésEasyControl : Un Nouveau Cadre pour le Contrôle Efficace et Flexible du Transformateur de Diffusion
Aucun article pour le moment. Revenez plus tard !

EasyControl : Un Nouveau Cadre pour le Contrôle Efficace et Flexible du Transformateur de Diffusion

Le cadre EasyControl, développé conjointement par Tiamat AI, l’Université ShanghaiTech, l’Université Nationale de Singapour et Liblib AI, a été officiellement lancé. Ce cadre ajoute des capacités de contrôle efficaces et flexibles aux modèles de Transformateur de Diffusion (DiT), et les utilisateurs de ComfyUI peuvent désormais utiliser cette technologie grâce à un plugin dédié.

Introduction au Cadre EasyControl

EasyControl est un cadre unifié de contrôle conditionnel efficace et flexible conçu pour les Transformateurs de Diffusion (DiT). Alors que les architectures de modèles génératifs passent des modèles basés sur UNet aux modèles DiT, l’ajout d’un contrôle conditionnel efficace aux DiT est devenu un défi. EasyControl résout ce problème grâce à trois innovations clés :

  1. Module LoRA d’Injection de Condition Léger - Traite les signaux de condition indépendamment sans modifier les poids du modèle de base, assurant la compatibilité avec les modèles personnalisés et permettant l’injection flexible de diverses conditions.

  2. Paradigme d’Entraînement Conscient de la Position - Normalise les conditions d’entrée à des résolutions fixes, permettant la génération d’images avec des ratios d’aspect arbitraires et des résolutions flexibles, tout en optimisant l’efficacité computationnelle.

  3. Mécanisme d’Attention Causale avec Technologie de Cache KV - Réduit significativement la latence de synthèse d’image et améliore l’efficacité globale du cadre.

Ces technologies permettent à EasyControl de prendre en charge la compatibilité des modèles (permettant une fonctionnalité plug-and-play et un contrôle sans perte de style), la flexibilité de génération (prenant en charge plusieurs résolutions, ratios d’aspect et combinaisons multi-conditions) et l’efficacité d’inférence.

Utilisation d’EasyControl dans ComfyUI

La bonne nouvelle est que les utilisateurs de ComfyUI peuvent désormais utiliser EasyControl dans ComfyUI grâce au plugin ComfyUI-easycontrol. Développé par l’utilisateur GitHub jax-explorer, ce plugin apporte la fonctionnalité EasyControl à ComfyUI. Flux de travail correspondant : easy_control_workflow.json.

Types de Contrôle Pris en Charge par le Plugin

Le plugin ComfyUI-easycontrol prend en charge divers types de contrôle :

  • Contrôle de Contours Canny
  • Contrôle de Carte de Profondeur
  • Contrôle HEDSketch
  • Contrôle de Pose
  • Contrôle de Segmentation Sémantique
  • Inpainting
  • Contrôle de Sujet
  • Contrôle de Style Ghibli

Génération de Style Ghibli

Notamment, EasyControl a récemment lancé un modèle spécialisé de génération de style Ghibli. Ce modèle a été entraîné en utilisant seulement 100 visages asiatiques réels associés à des homologues de style Ghibli générés par GPT-4o, permettant la transformation de photos de portrait en images de style animation Ghibli qui préservent les caractéristiques faciales, similaires à des œuvres comme “Le Voyage de Chihiro” et “Mon Voisin Totoro”.

Exemple de Style Ghibli Exemple de Style Ghibli 2

Génération de Style Ghibli

Mises à Jour Récentes

L’équipe EasyControl a publié plusieurs mises à jour récemment :

  • 2025-03-18 : Points de contrôle pré-entraînés publiés sur Hugging Face
  • 2025-03-19 : Page de démonstration Hugging Face lancée
  • 2025-04-01 : Modèle de contrôle de style Ghibli lancé
  • 2025-04-03 : Support du plugin ComfyUI-easycontrol lancé
  • 2025-04-07 : Intégration avec CFG-Zero*, améliorant la fidélité et la contrôlabilité des images

Liens Connexes