KJNodes/torchcompilegenerated

TorchCompileVAE

このノードは技術的な実装において、PyTorchのコンパイルバックエンドを呼び出し、VAEモデルの計算グラフを最適化およびキャッシュします

Torch Compile VAE

vae
VAE
backend
COMBO
fullgraph
mode
default
compile_encoder
compile_decoder
KJNodes

TorchCompileVAEノードは、技術的な実装において、PyTorchのコンパイルバックエンドを呼び出すことで、VAEモデルの計算グラフを最適化およびキャッシュします。

TorchCompileVAEノードは、変分自己符号化器(VAE)モデルの推論性能を最適化するためのツールノードです。その中核機能は、PyTorchのtorch.compile機能を使用してVAEのエンコーダーとデコーダーをジャストインタイムコンパイルし、画像のエンコードおよびデコードプロセスの実行速度を向上させることです。

ノード機能

このノードは、技術的な実装において、PyTorchのコンパイルバックエンドを呼び出すことで、VAEモデルの計算グラフを最適化およびキャッシュします。複数のコンパイルモードとバックエンドをサポートしており、ユーザーは自身のハードウェア(CUDAサポートの有無など)やパフォーマンス要件に基づいて選択できます。ノードはVAEモデルの具体的な構造(例:taesd_encodertaesd_decoderを含むかどうか)をチェックし、指定されたモジュールを対象にコンパイルを行い、様々なVAEバリアントとの互換性を確保します。

ノードパラメータ説明 - TorchCompileVAE

接続入力 (Inputs)

パラメータ名データ型必須デフォルト値範囲/オプション説明
vaeVAEはい--最適化対象のVAEモデルを受け取ります。ノードがコンパイル操作を行う対象です。

コントロールパラメータ (Parameters)

パラメータ名データ型必須デフォルト値範囲/オプション説明
backendCOMBOはいinductor"inductor", "cudagraphs"PyTorchコンパイルで使用するバックエンドエンジンを選択します。オプションはinductor(デフォルト)またはcudagraphsです。後者は通常NVIDIA GPUのサポートが必要です。
modeCOMBOはいdefault"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"コンパイル時間、メモリ使用量、実行速度の間でトレードオフを行うためのモードです。
fullgraphBOOLEANはいFalse-フルグラフモードを有効にします
compile_encoderBOOLEANはいTrue-エンコーダーをコンパイルします
compile_decoderBOOLEANはいTrue-デコーダーをコンパイルします

Output 出力

パラメータ名データ型説明
VAEVAEコンパイル最適化されたVAEモデルを出力します。後続の画像エンコードまたはデコードステップで使用できます。

使用シナリオ

Stable Diffusion画像生成ワークフローにおいて、同じVAEモデルを使用して大量の潜在空間表現を繰り返しデコードし、最終画像を生成する必要がある場合、このノードをVAEロードノードの後に挿入できます。コンパイルによる最適化により、画像ごとの生成時間を大幅に短縮でき、特にバッチ生成やリアルタイムプレビューが必要なシナリオに有効です。

注意事項

このノードは実験的機能としてマークされています。コンパイルの効果や安定性は、PyTorchのバージョン、ハードウェアドライバ、具体的なVAEモデルによって異なる場合があります。状況によっては、コンパイルが失敗したり、期待されたパフォーマンス向上が得られない可能性があります。

TorchCompileVAE ノードソースコードリンク

TorchCompileVAEノードは、ComfyUI-KJNodesノードパッケージに含まれています。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…