Intrinsic Lora Sampling (Intrinsic_lora_sampling) - ComfyUI-KJNodes

Le nœud Intrinsic Lora Sampling, dont le cœur technique est l'intégration et l'application de la série de modèles légers "Intrinsic LoRA".

Intrinsic Lora Sampling est un nœud d'échantillonnage spécialisé dans le traitement des propriétés intrinsèques des images. En chargeant des modèles LoRA spécifiques, il transforme une image d'entrée ordinaire en cartes de propriétés intrinsèques telles que des cartes de profondeur ou des cartes de normales. Ce nœud simplifie le processus d'extraction des propriétés physiques à partir d'une image, sans nécessiter de flux de travail complexe en plusieurs étapes.

Fonctionnalités du nœud

Le cœur technique de ce nœud est l'intégration et l'application de la série de modèles légers "Intrinsic LoRA". Il reçoit une image ou des variables latentes, combine avec un type de tâche spécifié (comme l'estimation de profondeur) et un prompt texte, et génère l'image de propriété intrinsèque correspondante en une seule étape d'échantillonnage. Le nœud prend en charge le traitement par lots pour améliorer l'efficacité et permet une entrée directe de variables latentes pour sauter l'étape d'encodage.

Description des paramètres du nœud - Intrinsic Lora Sampling

Entrées (Inputs)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`model`	`MODEL`	Oui	-	-	: Connecte le modèle de diffusion de base utilisé pour le débruitage et l'échantillonnage.
`lora_name`	`FOLDER_PATHS`	Oui	-	-	: Spécifie, à partir de la liste intégrée, le fichier de modèle Intrinsic LoRA à charger et à appliquer.
`clip`	`CLIP`	Oui	-	-	: Connecte l'encodeur de texte CLIP pour traiter le prompt texte.
`vae`	`VAE`	Oui	-	-	: Connecte l'auto-encodeur variationnel pour encoder l'image d'entrée en une représentation dans l'espace latent.
`image`	`IMAGE`	Non	-	-	: Image source à traiter. Lorsque ce paramètre est vide, `optional_latent` sera utilisé.
`optional_latent`	`LATENT`	Non	-	-	: Fournit une entrée latente optionnelle pour sauter l'étape d'encodage de l'image.

Paramètres de contrôle (Parameters)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage/Valeurs possibles	Description
`task`	`COMBO`	Oui	depth map	`depth map` (carte de profondeur), `surface normals` (normales de surface), `albedo` (albédo), `shading` (ombrage)	: Spécifie la propriété intrinsèque cible à générer. Les options incluent : `depth map` (carte de profondeur), `surface normals` (normales de surface), `albedo` (albédo) et `shading` (ombrage).
`text`	`STRING`	Oui	-	-	: Fournit un prompt texte supplémentaire pour guider le processus de génération des propriétés.
`per_batch`	`INT`	Oui	16	1 - 4096 (pas: 1)	: Définit le nombre d'images traitées par lot pour contrôler l'utilisation de la mémoire. La plage valide est de 1 à 4096 avec un pas de 1.

Sorties (Output)

Nom du paramètre	Type de données	Description
`IMAGE`	`IMAGE`	: Image de propriété intrinsèque générée en sortie.
`LATENT`	`LATENT`	: Représentation latente obtenue après l'échantillonnage, en sortie.

Scénarios d'utilisation

Dans un flux de travail d'analyse de matériaux ou de reconstruction 3D, vous pouvez connecter une photographie réelle à ce nœud, sélectionner la tâche "depth map", et obtenir rapidement une carte d'information de profondeur de la scène. La carte de profondeur générée peut ensuite être utilisée pour synthétiser de nouvelles perspectives, ajuster la profondeur de champ, ou servir d'entrée à d'autres logiciels 3D.

Notes importantes

Veuillez noter que ce nœud dépend d'une bibliothèque spécifique de modèles LoRA intégrés, et son efficacité est limitée par les capacités de ces modèles pré-entraînés. Si l'image d'entrée ne correspond pas au type de tâche (par exemple, générer une carte de normales à partir d'une image unie), les résultats peuvent ne pas être significatifs.

Lien vers le code source du nœud Intrinsic Lora Sampling

Le nœud Intrinsic Lora Sampling provient du pack de nœuds ComfyUI-KJNodes.

Intrinsic Lora Sampling(Intrinsic_lora_sampling)