LoraExtractKJ

LoraExtractKJ ノードは、標準固定ランク（standard）、フルランク（full）、および様々な適応的ランク手法（adaptive_*）を含む複数のLoRA抽出モードをサポートし、異なる精度とファイルサイズの要件に対応します。

LoraExtractKJ ノードは、ファインチューニングされたモデルと元のベースモデルの差分から LoRA（Low-Rank Adaptation）重みファイルを抽出するためのツールです。その中核機能は、2つのモデル間のパラメータ変化を分析し、それらの変化を圧縮して独立した再利用可能な LoRA ファイルとして保存することです。このノードはデータを出力せず、生成された LoRA ファイルを指定されたディレクトリに直接保存します。

ノード機能

このノードは、標準固定ランク（standard）、フルランク（full）、および様々な適応的ランク手法（adaptive_*）を含む複数のLoRA抽出モードをサポートし、異なる精度とファイルサイズの要件に対応します。技術的実装では、特異値分解（SVD）アルゴリズムを使用して重み行列の低ランク近似を計算します。ユーザーは svd_linalg（正確だが遅い）または svd_lowrank（高速だが近似）の2つのアルゴリズムを選択できます。抽出された重みは、fp16、bf16、または fp32 精度で保存できます。

ノードパラメータ説明 - LoraExtractKJ

接続入力 (Inputs)

パラメータ名	データ型	必須	デフォルト値	範囲/オプション	説明
`finetuned`	MULTITYPE	はい	-	-	LoRAを抽出するファインチューニングされたモデルまたはクリップ。
`original`	MULTITYPE	はい	-	-	差分を取るための元のベースモデルまたはクリップ。

コントロールパラメータ (Parameters)

パラメータ名	データ型	必須	デフォルト値	範囲/オプション	説明
`lora_type`	COMBO	はい	standard	"standard", "full", "adaptive_ratio", "adaptive_quantile", "adaptive_energy", "adaptive_fro"	フルランク（full）および4つの適応的ランク手法（adaptive_ratio, adaptive_quantile, adaptive_energy, adaptive_fro）。
`algorithm`	COMBO	はい	svd_lowrank	"svd_linalg", "svd_lowrank"	特異値分解（SVD）に使用するアルゴリズムを選択します。`svd_linalg` はより正確ですが遅く、`svd_lowrank` は高速ですが近似計算です。
`output_dtype`	COMBO	はい	fp16	"fp16", "bf16", "fp32"	抽出されたLoRA重みを保存する精度：fp16、bf16、またはfp32。
`filename_prefix`	STRING	はい	loras/ComfyUI_extracted_lora	-	出力LoRAファイルの保存パスとファイル名プレフィックスを設定します。デフォルトでは `loras/` ディレクトリに保存されます。
`rank`	INT	はい	64	1 - 4096 (ステップ: 1)	標準LoRAに使用するランク、または適応的手法の最大ランク制限。
`lowrank_iters`	INT	はい	7	1 - 100 (ステップ: 1)	lowrank SVD アルゴリズムの部分空間反復回数。
`bias_diff`	BOOLEAN	はい	True	-	LoRA抽出時にモデルのバイアスパラメータの差分を含めるかどうか。
`adaptive_param`	FLOAT	はい	0.15	0.0 - 1.0 (ステップ: 0.01)	ratio モードでは最大特異値の比率。quantile モードでは特異値の分位数。fro モードではフロベニウスノルム保持率。
`clamp_quantile`	BOOLEAN	はい	false	-	適応的量子化モードで数値安定性を向上させるために特異値をクリップするかどうかを制御します。

使用シナリオ

典型的な使用シナリオは、ユーザーが Dreambooth などの方法で Stable Diffusion モデルをパーソナライズドファインチューニングした後、このノードを使用する場合です。ファインチューニングされた完全なモデルと元の未変更のベースモデルを、それぞれノードの2つの入力ポートに接続し、抽出パラメータを設定することで、軽量な LoRA ファイルを生成できます。このファイルは、他のワークフローで同じスタイルやコンセプトを迅速に適用するために使用できます。

LoraExtractKJ ノードソースコードリンク

LoraExtractKJ ノードは ComfyUI-KJNodes ノードパッケージから提供されています。

Lora Extract KJ