LoraExtractKJ

Le nœud LoraExtractKJ prend en charge plusieurs modes d'extraction LoRA, notamment le rang fixe standard (standard), le rang complet (full) et diverses méthodes de rang adaptatif (adaptive_*), pour s'adapter à différents besoins en termes de précision et de taille de fichier.

Le nœud LoraExtractKJ est un outil permettant d'extraire des fichiers de poids LoRA (Low-Rank Adaptation) à partir des différences entre un modèle affiné et le modèle de base original. Sa fonction principale est d'analyser les changements de paramètres entre les deux modèles, de compresser ces changements et de les enregistrer sous forme de fichiers LoRA indépendants et réutilisables. Ce nœud ne génère aucune sortie de données, mais enregistre directement le fichier LoRA généré dans le répertoire spécifié.

Fonctionnalités du nœud

Ce nœud prend en charge plusieurs modes d'extraction LoRA, notamment le rang fixe standard (standard), le rang complet (full) et diverses méthodes de rang adaptatif (adaptive_*), pour s'adapter à différents besoins en termes de précision et de taille de fichier. Sur le plan technique, il utilise l'algorithme de décomposition en valeurs singulières (SVD) pour calculer une approximation de bas rang des matrices de poids. L'utilisateur peut choisir entre les algorithmes svd_linalg (précis mais lent) ou svd_lowrank (rapide mais approximatif). Les poids extraits peuvent être enregistrés avec une précision fp16, bf16 ou fp32.

Description des paramètres du nœud - LoraExtractKJ

Entrées (Inputs)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage de valeurs/Options	Description
`finetuned`	MULTITYPE	Oui	-	-	Le modèle ou clip affiné à partir duquel extraire le LoRA.
`original`	MULTITYPE	Oui	-	-	Le modèle ou clip de base original pour la comparaison des différences.

Paramètres de contrôle (Parameters)

Nom du paramètre	Type de données	Requis	Valeur par défaut	Plage de valeurs/Options	Description
`lora_type`	COMBO	Oui	standard	"standard", "full", "adaptive_ratio", "adaptive_quantile", "adaptive_energy", "adaptive_fro"	Rang complet (full) et quatre méthodes de rang adaptatif (adaptive_ratio, adaptive_quantile, adaptive_energy, adaptive_fro).
`algorithm`	COMBO	Oui	svd_lowrank	"svd_linalg", "svd_lowrank"	Sélectionne l'algorithme utilisé pour la décomposition en valeurs singulières (SVD). `svd_linalg` est plus précis mais plus lent, `svd_lowrank` est plus rapide mais approximatif.
`output_dtype`	COMBO	Oui	fp16	"fp16", "bf16", "fp32"	La précision pour l'enregistrement des poids LoRA extraits : fp16, bf16 ou fp32.
`filename_prefix`	STRING	Oui	loras/ComfyUI_extracted_lora	-	Définit le chemin de sauvegarde et le préfixe du nom de fichier pour le LoRA de sortie. Par défaut, il est enregistré dans le répertoire `loras/`.
`rank`	INT	Oui	64	1 - 4096 (pas: 1)	Le rang à utiliser pour le LoRA standard, ou la limite de rang maximale pour les méthodes adaptatives.
`lowrank_iters`	INT	Oui	7	1 - 100 (pas: 1)	Le nombre d'itérations de sous-espace pour l'algorithme SVD lowrank.
`bias_diff`	BOOLEAN	Oui	True	-	Indique s'il faut inclure les différences des paramètres de biais du modèle lors de l'extraction du LoRA.
`adaptive_param`	FLOTTANT	Oui	0.15	0.0 - 1.0 (pas: 0.01)	Pour le mode ratio, il s'agit du rapport de la valeur singulière maximale. Pour le mode quantile, il s'agit du quantile des valeurs singulières. Pour le mode fro, il s'agit du taux de conservation de la norme de Frobenius.
`clamp_quantile`	BOOLEAN	Oui	false	-	Contrôle si les valeurs singulières doivent être écrêtées dans le mode quantile adaptatif pour améliorer la stabilité numérique.

Scénario d'utilisation

Un scénario d'utilisation typique est lorsqu'un utilisateur a effectué un affinage personnalisé sur un modèle Stable Diffusion à l'aide de méthodes comme Dreambooth. Après l'affinage, l'utilisateur peut connecter le modèle complet affiné et le modèle de base original non modifié aux deux ports d'entrée du nœud. En configurant les paramètres d'extraction, un fichier LoRA léger peut être généré pour appliquer rapidement le même style ou concept dans d'autres flux de travail.

Lien vers le code source du nœud LoraExtractKJ

Le nœud LoraExtractKJ provient du pack de nœuds ComfyUI-KJNodes.

Lora Extract KJ