Krea 2 Edit V2 : deux LoRA et placement des références dans ComfyUI

ComfyUI Wikinews

Krea 2 Identity Edit V2 et General Edit V2 arrivent sous forme de LoRA distincts, ajoutant le placement des références au pack de nœuds ComfyUI-Krea2Edit pour ComfyUI.

Conradlocke a publié la deuxième génération des LoRA d'édition Krea 2 le 16 octobre, et le changement le plus important est structurel : ce qui était auparavant un seul LoRA est désormais deux poids distincts aux tâches différentes. Krea 2 Identity Edit V2 transpose une personne à partir d'une seule photo vers une nouvelle scène, pose, tenue ou éclairage, tandis que Krea 2 General Edit V2 gère les modifications par instruction simples telles que la suppression d'objets, la recoloration, la modification de l'éclairage, le remplacement d'arrière-plans, l'ajout d'objets, la réécriture du texte d'une enseigne et le restyling.

Le Pack de Nœuds complémentaire, ComfyUI-Krea2Edit, est passé en v2.0.0 en même temps. Les deux LoRA sont sur Hugging Face, aux côtés des poids antérieurs v1, v1.1 et v1.2, qui continuent de fonctionner avec les nouveaux nœuds. La sortie v1 a été couverte dans l'article original sur Krea 2 Identity Edit.

Krea 2 Identity Edit V2 : remise en scène sous éclairage néon

Une remise en scène à partir d'une seule photo, avec une nouvelle tenue et un éclairage néon. Source : conradlocke

Les deux LoRA sont entraînés sur Krea 2 Raw, un MMDiT single-stream de 12,9B, et fonctionnent sur Raw ou Turbo. Ils nécessitent toujours le Pack de Nœuds personnalisé, car ils ont été entraînés avec un double conditionnement que les nœuds standard ne fournissent pas : l'image source entre sous forme de tokens VAE in-context et également dans l'encodeur de texte Qwen3-VL utilisé par Krea 2.

Deux LoRA au lieu d'un

LoRAFichierÀ quoi cela sert
Krea 2 Identity Edit V2krea2_identity_edit_v2.safetensorsConserver la ressemblance d'une personne tout en modifiant la pose, la caméra, la scène, la tenue et la lumière
Krea 2 General Edit V2krea2_general_edit_v2.safetensorsÉdition par instruction : supprimer, recolorer, modifier l'éclairage, remplacer les arrière-plans, ajouter des objets, changer le texte, restyler

Les deux sont inclus dans le fichier complet, ainsi que des versions à rang réduit ..._v2_r128 (0,91 Go) et ..._v2_r64 (0,46 Go) pour les cartes à faible VRAM. L'auteur décrit les rangs réduits comme ayant une qualité quasi identique.

Identity Edit V2

Le modèle d'identité est le successeur de la série v1.x : une photo d'une personne en entrée, cette personne n'importe où en sortie. L'auteur cite la remise en scène dans de nouveaux décors, de nouvelles poses et de nouveaux angles de caméra, les changements de garde-robe décrits en langage courant, le rééclairage là où la lumière tombe réellement sur le visage, la composition d'une personne dans une scène existante, la construction de photos de groupe une personne à la fois, et la création d'une planche de rotation de personnage à partir d'une photo, ou d'une photo à partir d'une planche.

Remise en scène et rééclairage avec Identity Edit V2. Source : conradlocke

Remise en scène plein pied sur une crêtePlanche de personnage à partir d'une seule photoDeux références, une seule scène
Remise en scène plein piedPlanche de rotation à partir d'une photoDeux références, une seule scène

Paramètres recommandés pour Identity Edit V2 :

UtilisationModèleÉtapesCFGref_boostgrounding_pxPlacement
Remettre en scène une personne, référence uniqueTurbo81.02768beside ou aligned
Ajouter une personne à une scène (scène = image 1, personne = image 2)Turbo81.0personne 2-3, scène 1768scène aligned, personne beside
Portraits avec visage verrouillé, conserver le cadrage de la photoTurbo81.01-2768aligned

L'auteur soutient que le prompt compte davantage que les réglages ici. Trois règles issues de la carte du modèle : précisez quelle part de la personne est visible, car « standing on a ridge » a tendance à recopier le cadrage tête et épaules de la référence, alors que « in muddy leather boots on a ridge » donne le corps entier ; décrivez la nouvelle tenue de façon concrète et indiquez ce qui doit disparaître, puisque le modèle s'appuie sur les vêtements de la photo ; et décrivez la lumière par l'endroit où elle tombe plutôt qu'en nommant un rendu, par exemple « a magenta sign paints the left half of her face pink » au lieu de « neon lighting ».

Ajout d'une personne à une scène existante

Une personne composée dans une pièce existante : la référence de scène reste aligned, la référence de personne passe en beside. Source : conradlocke

General Edit V2

Le second LoRA couvre les tâches d'édition pour lesquelles le modèle d'identité n'a jamais été performant. Il prend une image et une instruction simple, et conserve tout ce qui n'a pas été demandé de modifier : supprimer un objet ou une personne, recolorer, modifier l'éclairage, changer la saison, remplacer l'arrière-plan, ajouter un objet, réécrire le texte d'une enseigne, changer de tenue, restyler une image en anime ou transformer une photo de tenue en flat lay produit.

Éditions par instruction avec General Edit V2. Source : conradlocke

Supprimer une personneChanger la saisonRéécrire le texte de l'enseigne
Suppression d'objetChangement de saisonRéécriture du texte d'enseigne
Modifier l'éclairageTenue transformée en flat layPhoto de groupe composée une personne à la fois
Modification de l'éclairageTenue transformée en flat lay produitPhoto de groupe, une personne ajoutée à la fois
TâcheModèleÉtapesCFGref_boostgrounding_px
La plupart des éditionsTurbo81.04768
Suppressions et effacements importantsRaw203.04768

À un CFG supérieur à 1, le côté négatif doit lui aussi être ancré (grounded), avec un prompt vide sur la même image. L'auteur note également que le modèle d'identité n'est pas un éditeur général : il a tendance à ignorer les suppressions, les recolorations et les changements de caméra, qui relèvent donc de General Edit V2.

Placement de la référence

v2.0.0 ajoute deux entrées à Krea2EditModelPatch. Elles sont ajoutées en dernier, de sorte que les flux de travail enregistrés conservent leurs liens, et les valeurs par défaut reproduisent exactement le comportement précédent.

  • ref_position place la dernière référence : la personne dans un flux de travail à deux images, ou l'unique image.
  • ref_position_a place la première référence : la scène dans un composite.

Trois modes sont disponibles. aligned (trained) épingle la référence sur la disposition de sortie, ce qui correspond à l'entraînement des deux modèles et constitue le mode par défaut. beside (right of target) place la référence à côté de la toile : l'identité circule toujours mais l'épinglage de la disposition disparaît, ce qui permet de repositionner la personne plus librement. bag of features est expérimental : il attribue une seule position à tous les tokens d'une référence et n'a pas encore d'usage recommandé. La combinaison testée par l'auteur pour les composites associe la scène en aligned et la personne en beside ; il précise que beside fonctionne bien lors des tests mais qu'il est nouveau, car les modèles n'ont été entraînés qu'avec aligned.

Le placement de la référence modifie la fidélité avec laquelle la disposition de sortie suit la référence. Source : conradlocke

Exécution des deux LoRA

Les deux LoRA partagent une même lignée, donc les charger tous les deux à une force de 1.0 produit du bruit pur. Si un flux de travail a besoin des deux comportements, l'auteur recommande environ 0.6 chacun, ce qui, d'après les tests, préserve la ressemblance du modèle d'identité tout en conservant les suppressions et recolorations du modèle général. Sinon, la règle est un LoRA par tâche, et un seul des deux doit être chargé à la fois.

Limites

La fiche du modèle énonce clairement ses limites. Identity Edit V2 ignore les suppressions, les recolorations et les modifications de caméra ; les vêtements de la photo de référence sont repris, il faut donc préciser que les manteaux et les cols roulés ont disparu ; des objets de la référence s’introduisent parfois dans une scène recomposée, comme une bougie provenant de la table d’origine ; les échanges de têtes tendent à devenir des échanges de personne entière, avec les vêtements de la personne échangée inclus ; la restauration de visage en basse résolution et l’outpainting ne sont pas fiables ; et les groupes fonctionnent en ajoutant les personnes une à une jusqu’à environ sept, après quoi le cadre se remplit et les personnes commencent à se remplacer mutuellement. L’auteur recommande de générer à 2 MP ou moins.

Disponibilité

Installez le pack de Nœuds depuis custom_nodes et redémarrez ComfyUI :

cd ComfyUI/custom_nodes
git clone https://github.com/lbouaraba/comfyui-krea2edit

Il nécessite une Version de ComfyUI prenant en charge nativement Krea 2, Krea 2 Raw ou Turbo, l'encodeur de texte Qwen3-VL 4B utilisé par Krea 2, ainsi qu'un ou les deux fichiers LoRA V2. Aucune dépendance Python supplémentaire n'est requise. Les Nœuds sont également disponibles sur le ComfyUI Registry sous le nom comfyui-krea2edit.

Krea2EditModelPatch gère le conditionnement, avec source_latent pour l'image en cours d'édition et source_latent_b en option pour la seconde référence, plus les contrôles fit_mode, ref_boost et de placement. Krea2EditGroundedEncode effectue l'encodage des instructions ancré sur l'image et prend la même image via le CLIP Krea 2 chargé en type krea2, avec grounding_px comme réglage de qualité : des valeurs plus faibles suivent l'instruction plus fortement et des valeurs plus élevées préservent davantage la ressemblance.

L'Auteur a également publié le code d'entraînement sous le nom krea2edit-trainer, une extension ai-toolkit adaptée à la géométrie des Nœuds, avec des exigences de VRAM mesurées sur GPU grand public.

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
Krea 2 Edit V2 : deux LoRA et placement des références dans ComfyUI | ComfyUI Wiki