AI Toolkit ajoute l’entraînement avec image de référence pour Krea 2 : entraînez des concepts d’édition aussi rapidement que des modèles d’édition dédiés

Le 4 juillet 2026, Ostris a intégré dans AI Toolkit la prise en charge de l’entraînement de Krea 2 avec des images de référence. Cela permet d’entraîner des LoRA de style édition directement sur Krea 2 Turbo en utilisant l’adaptateur d’entraînement – et selon les tests d’Ostris, cela apprend des concepts d’édition aussi rapidement qu’un modèle d’édition dédié.

TL;DR – AI Toolkit prend désormais en charge l’entraînement avec image de référence pour Krea 2 Turbo via un adaptateur d’entraînement sur HuggingFace. Les LoRA de style édition s’entraînent en seulement 1 750 étapes. Un nœud personnalisé compagnon pour l’inférence ComfyUI gère le codage de l’image de référence et le patching du modèle. La même architecture fonctionne également sur le modèle Krea 2 de base (Raw).

Comment ça fonctionne

Sous le capot, le pipeline d’entraînement utilise l’encodeur d’image Qwen3-VL pour coder les images de référence avec le prompt. La référence encodée est ensuite introduite dans le transformateur Krea 2 au timestep 0 en même temps que les images d’entraînement propres – la même approche de conditionnement par référence utilisée par les modèles d’édition dédiés.

Composant	Description
Adaptateur d’entraînement	`ostris/krea2_turbo_training_adapter` sur HuggingFace
Moteur d’entraînement	AI Toolkit – définir `arch: krea2` avec `model_kwargs.edit: true` dans la configuration
Codage de la référence	Encodeur d’image Qwen3-VL, réduit à 384×384 pixels au total
Étapes pour maîtriser	~1 750 étapes (testé : concept « fais de cette personne un cyclope »)

Inférence ComfyUI : nœud personnalisé requis

Pour l’inférence dans ComfyUI, vous aurez besoin du pack de nœuds personnalisés ComfyUI-Krea2-Ostris-Edit. Il fournit deux nœuds :

Text Encode Krea 2 Ostris Edit – Encode le prompt avec jusqu’à 3 images de référence via l’encodeur de texte Krea 2 Qwen3-VL, en utilisant le même modèle de placeholder visuel Picture N: que celui utilisé lors de l’entraînement. Lorsqu’un VAE est connecté, il encode également les images de référence via VAE et les attache en tant que latents de référence.

Krea 2 Ostris Edit Model Patch – Patche le modèle Krea 2 afin qu’il consomme les latents de référence issus du conditionnement. Chaque référence est ajoutée à la séquence de tokens d’image et conditionnée au timestep 0 (méthode index_timestep_zero). Si aucun latent de référence n’est présent, le modèle se comporte exactement comme le Krea 2 standard.

Installation

cd ComfyUI/custom_nodes
git clone https://github.com/ostris/ComfyUI-Krea2-Ostris-Edit.git

Aucune dépendance supplémentaire requise. Les nœuds apparaissent sous la catégorie ostris/krea2.

Workflow exemple

Load Diffusion Model (krea2) → Load LoRA → Krea 2 Ostris Edit Model Patch → KSampler
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (prompt + images + VAE) → positif
CLIPLoader (krea2) → Text Encode Krea 2 Ostris Edit (prompt négatif) → négatif

Configuration de l’entraînement

Pour entraîner un LoRA Krea 2 de style édition avec AI Toolkit :

Définir arch: krea2 et model_kwargs.edit: true dans votre configuration d’entraînement
Utiliser des données d’entraînement appariées : images d’entrée + images cibles éditées + descriptions textuelles
L’adaptateur est téléchargé automatiquement depuis HuggingFace
L’entraînement s’exécute sur des GPU grand public avec des besoins VRAM standards

Ostris a démontré cela avec un LoRA de test « fais de cette personne un cyclope » entraîné sur Krea 2 Turbo – le modèle a maîtrisé le concept d’édition en 1 750 étapes.

Compatibilité avec le modèle de base

Les mêmes poids pour images de référence fonctionnent également sur le modèle Krea 2 de base (Raw). Comme Ostris l’a expliqué en réponse aux questions de la communauté :

« Oui, les poids sont les mêmes. Je passe simplement les images de référence dans l’encodeur d’image Qwen-VL et je les encode avec le prompt, puis j’alimente les images propres avec le time-0 dans le transformateur. »