Comment réaliser l’inpainting d’une image dans ComfyUI?

Le redessin partiel d’image fait référence au processus de régénération ou de redessin des parties d’une image que vous devez modifier.

Dans l’exemple de workflow de redessin partiel du dépôt Github de ComfyUI, vous pouvez trouver des exemples de redessin partiel. Cependant, dans mon utilisation, l’effet de l’utilisation du VAE Internal Patch Encoder n’est pas très bon. Cet article compare le VAE Internal Patch Encoder avec le Laton Noise Mask et démontre les effets d’exemples correspondants.

Phase de Préparation : Prérequis pour le Redessin Partiel

Tout d’abord, nous devons marquer la zone de l’image qui doit être modifiée, ce qui est réalisé en dessinant un masque. Le rôle du masque est d’informer le modèle de l’emplacement spécifique que nous souhaitons modifier.

Dessiner le Masque

Au début de l’édition d’image, il est nécessaire de spécifier la zone qui doit être modifiée. En dessinant un masque, le modèle est informé de la portée spécifique de la modification.

Mise à Jour des Nœuds de Workflow

Étant donné que l’encodeur VAE original ne prend pas en charge les masques, il est nécessaire de choisir un nœud qui peut intégrer des masques. Cet article recommande d’utiliser le VAE Internal Patch Encoder et le Laton Noise Mask, qui ont leurs propres caractéristiques dans la mise en œuvre.

Processus de Mise en Œuvre : Étapes Détailées pour le Redessin Partiel

Étape Un : Chargement de l’Image et Dessin du Masque

Importez l’image au nœud Load Image.
Utilisez l’outil de masque pour dessiner sur des zones spécifiques, puis utilisez-le comme entrée pour les nœuds suivants pour le redessin.

Étape Deux : Construction du Workflow de Redessin Partiel de ComfyUI

Pour le workflow spécifique, veuillez télécharger le fichier de workflow joint à cet article et l’exécuter.

Sélectionnez l’image et le masque dans le nœud latent et connectez-le au K Sampler.
Ajustez les mots de prompt, comme changer “cat” en “dog”, et définissez une nouvelle graine aléatoire.
Effectuez la génération d’image et observez les changements dans les résultats.

Étape Trois : Comparaison des Effets de Deux Nœuds ComfyUI pour le Redessin Partiel

Appliquez le VAE Encode For Inpaint et le Set Latent Noise Mask pour le redessin partiel.
Comparez la performance des deux techniques à différentes valeurs de débruitage.
- Le VAE Encode For Inpaint peut entraîner une distorsion du contenu dans la zone masquée à une faible valeur de débruitage.
- Le Set Latent Noise Mask peut maintenir un haut degré de similitude avec l’image originale à une faible valeur de débruitage.
Discutez des scénarios d’application et des avantages des deux techniques.
- Le VAE Encode For Inpaint est adapté à la création de nouveau contenu qui n’est pas lié à l’image originale.
- Le Set Latent Noise Mask est adapté pour effectuer des ajustements locaux tout en conservant les caractéristiques de l’image originale, comme remplacer le type d’animal.