Krea 2 Depth ControlNet publié : génération conditionnée par profondeur avec prise en charge ComfyUI

Le développeur de la communauté Tanmay Patil a publié le Krea 2 Depth ControlNet, un ControlNet-LoRA qui ajoute la génération conditionnée par profondeur à Krea 2. Le fichier LoRA unique de 862 Mo vous permet de contrôler la structure 3D des images générées tout en préservant une liberté créative totale sur le contenu et le style.

Le modèle est disponible sur Hugging Face : Patil/Krea-2-depth-controlnet.

Comment ça fonctionne

À partir d'une image d'entrée et d'une invite de texte, le ControlNet extrait une carte de profondeur à l'aide de Depth-Anything-V2, puis génère une nouvelle image qui conserve la même structure 3D et la même composition. La cohérence de profondeur (corrélation de Pearson entre la profondeur d'entrée et celle de la sortie générée) atteint 0,98 sans invite et 0,99 avec une invite, ce qui signifie que la structure géométrique est fidèlement reportée.

Le ControlNet est entraîné sur Krea 2 Raw et fonctionne de manière interchangeable avec les modèles de base Raw (28-52 étapes, CFG 3,5) et Turbo (8 étapes, pas de CFG). Un bouton d'échelle LoRA permet d'ajuster la force d'adhérence à la profondeur : de la reproduction structurelle stricte à 1,0 à une plus grande liberté créative à des valeurs inférieures.

Utilisation

Le dépôt fournit un script d'inférence simple :

# Turbo base — fast, recommended (8 steps, no CFG)
python inference.py photo.jpg -p "a futuristic spaceship interior, cinematic lighting" \
    --lora depth-control-lora.safetensors

# Raw base — maximum quality (28-52 steps, CFG 3.5)
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --base raw

# No prompt: depth map is the only signal
python inference.py photo.jpg --lora depth-control-lora.safetensors --save-strip

# Weaker structure adherence
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --lora-scale 0.6

Le drapeau --save-strip produit une comparaison côte à côte de l'image d'entrée, de la carte de profondeur extraite et de la sortie générée pour une évaluation facile.

Intégration ComfyUI

Le ControlNet est entièrement compatible avec ComfyUI via le nœud personnalisé comfyui-krea2-controlnet par facok. Ce nœud offre une interface simple pour charger le LoRA Depth ControlNet et l'appliquer dans le flux de travail Krea 2.

Pour l'utiliser dans ComfyUI :

1. Téléchargez depth-control-lora.safetensors depuis le dépôt Hugging Face
2. Installez le nœud personnalisé comfyui-krea2-controlnet
3. Chargez le LoRA via l'interface du nœud personnalisé et connectez-le à votre flux de travail Krea 2
4. Fournissez une image d'entrée comme référence de profondeur

Détails du fichier

Le modèle de base reste gelé : seuls les poids LoRA sont chargés, ce qui permet de passer efficacement d'un mode ControlNet à un autre.

Licence

Le modèle est publié sous la Krea 2 Community License, conformément à l'écosystème plus large de Krea 2.