Le LoRA Remove-Object de Pruna pour Qwen-Image 2.1 en 6 étapes

ComfyUI Wikinews

Le LoRA Remove-Object de PrunaAI efface en 6 étapes un objet masqué sur une photo Qwen-Image 2.1 sans CFG, conserve le reste de l'image intact et fournit des workflows ComfyUI.

PrunaAI a publié P-Q-Image-2.1-Remove-Object le 10 novembre : un LoRA de rang 32 qui supprime l'objet que vous masquez sur une photo et laisse le reste de l'image à sa place. Les variantes 6 étapes et 8 étapes fonctionnent avec le LoRA de distillation de Pruna, sans CFG, et l'exportation ComfyUI comprend deux workflows prêts à l'emploi ainsi qu'un petit nœud qui dessine le contour du masque attendu par le modèle.
PhotoRésultat
Photo6 étapes, « Remove the person with the umbrella walking across the plaza. »

La personne disparaît, et son long reflet sur la place mouillée aussi, même s'il se trouvait en dehors du masque. Le pavage se poursuit dans l'espace laissé vide.

Femme en robe rose supprimée d'un champ de fleurs

Même LoRA sur une autre photo, 6 étapes, ~2 MP. Exemples issus de la fiche du modèle.

Pourquoi ce LoRA

Les éditions de Qwen-Image 2.1 ont tendance à repeindre toute l'image : les couleurs changent et la sortie ne s'aligne plus sur l'entrée, et la distillation en peu d'étapes aggrave le phénomène. Ce LoRA a été entraîné à préserver les pixels situés en dehors de l'objet, de sorte que le résultat se superpose à l'original à sa propre taille. Il est donc utilisable comme finisseur, et pas seulement comme démonstration.

L'utiliser

  1. Mettre à jour ComfyUI vers une version prenant en charge Qwen-Image 2.1 et les sous-graphes.
  2. Fichiers : le modèle de diffusion, l'encodeur de texte et le VAE de Comfy-Org/Qwen-Image-2.1 dans leurs dossiers habituels, puis les deux LoRA dans ComfyUI/models/loras/ : celui de distillation 6 étapes p_q_image_2.1_6_steps_v0.2_comfyui_bf16.safetensors de PrunaAI/P-Q-Image-2.1-Comfy et p_q_image_2.1_remove_object_6_steps_v0.1_comfyui_bf16.safetensors de ce dépôt.
  3. Nœud personnalisé : copiez precise_removal_outline/ dans ComfyUI/custom_nodes/, installez son requirements.txt (opencv) dans le Python de ComfyUI, puis redémarrez.
  4. Masque : faites un clic droit sur le nœud Charger Image, Ouvrir dans MaskEditor, peignez sur l'objet, enregistrez. Un fichier de masque fonctionne aussi (blanc = supprimer) ; sans masque, l'instruction seule désigne ce qui doit disparaître.
  5. Rédigez l'instruction dans Precise Removal Outline, par exemple Remove the man on the left. Le nœud dessine le contour rouge et ajoute la phrase sur laquelle le modèle a été entraîné.

Paramètres d'exemple : 6 étapes, sans CFG, removal_strength 0.7 avec le LoRA de distillation à 1.0. Les workflows s'ouvrent sur un exemple fourni dont le masque est déjà peint.

VarianteÉtapesLoRA de distillationForce
6-step (par défaut)6p_q_image_2.1_6_steps_v0.20.7
8-step8p_q_image_2.1_8_steps_v0.10.7
base40aucun1.0

Limites

  • Il peut supprimer plus que l'objet visé. Le contour prime sur le texte, donc un masque qui couvre aussi une zone à conserver peut la supprimer également. Gardez le masque serré là où les objets se chevauchent. Réduire la force ne corrige pas ce comportement.
  • Les zones comblées peuvent paraître plus lisses que leur environnement, ou afficher une légère grille. À 0.5, certaines suppressions échouent et l'objet reste, recoloré.
  • Suppression uniquement. L'ajout ou le remplacement d'objets n'a jamais été entraîné et ne fonctionne pas mieux que le modèle de base.
  • Sans masque, l'instruction seule donne souvent de meilleurs résultats qu'un masque approximatif sur des scènes chargées.

Disponibilité

Commentaires

Connectez-vous avec GitHub pour rejoindre la discussion.

Chargement des commentaires…
Le LoRA Remove-Object de Pruna pour Qwen-Image 2.1 en 6 étapes | ComfyUI Wiki