TorchCompileModelWanVideoV2

TorchCompileModelWanVideoV2ノードは、モデルの推論性能を最適化するためのツールです。PyTorchのコンパイル機能を利用してモデルをより効率的な実行形式に変換し、画像や動画の生成時の計算速度向上を目指します。このノードはKJNodes/torchcompileカテゴリの実験的ノードです。

ノードの機能

技術的には、このノードはPyTorchのtorch.compileメカニズムを利用し、複数のバックエンドコンパイラと最適化モードをサポートします。ユーザーは特定のモデルコンポーネント（例：Transformerブロックのみ）を選択してコンパイルすることができ、コンパイル時間の短縮と成功率の向上を図ります。ノード内部では、PyTorch Dynamoの設定（キャッシュサイズ制限やパラメータ形状の処理方法など）を調整し、異なるハードウェアやモデル構造に対応します。

ノードパラメータ説明 - TorchCompileModelWanVideoV2

入力 (Inputs)

パラメータ名	データ型	必須	デフォルト値	範囲/オプション	説明
`model`	MODEL	はい	-	-	最適化対象の元のモデルを受け取ります。データ型はMODELです。このノードがコンパイル処理を行う対象です。

パラメータ (Parameters)

パラメータ名	データ型	必須	デフォルト値	範囲/オプション	説明
`backend`	COMBO	はい	inductor	"inductor", "cudagraphs"	PyTorchコンパイルで使用するバックエンドエンジンを選択します。"inductor"または"cudagraphs"を選択でき、それぞれ異なる低レベル最適化戦略に対応します。
`mode`	COMBO	はい	default	"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"	コンパイル速度、メモリ使用量、実行時性能の間でトレードオフを行うためのモードです。
`fullgraph`	BOOLEAN	はい	False	-	フルグラフモードを有効にします
`dynamic`	BOOLEAN	はい	False	-	ダイナミックモードを有効にします
`compile_transformer_blocks_only`	BOOLEAN	はい	True	-	Transformerブロックのみをコンパイルします。コンパイルが速く、エラーが発生しにくくなります。
`dynamo_cache_size_limit`	INT	はい	64	0 - 1024 (ステップ: 1)	torch._dynamo.config.cache_size_limit
`force_parameter_static_shapes`	BOOLEAN	いいえ	True	-	torch._dynamo.config.force_parameter_static_shapes

出力 (Output)

パラメータ名	データ型	説明
MODEL	MODEL	PyTorchによるコンパイル最適化が施されたモデルを出力します。このモデルは後続の生成ステップで直接使用できます。

使用シナリオ

動画生成や高解像度画像生成のワークフローにおいて、モデル推論が性能のボトルネックになっていると判明した場合、このノードをモデル読み込み後、サンプラーの前に挿入できます。モデルをコンパイルすることで、後続の拡散サンプリングステップを加速し、全体の生成時間を短縮できます。これは、バッチ生成やリアルタイムプレビューが必要なシナリオに特に有効です。

注意事項

このノードは「非推奨」としてマークされていることに注意してください。開発者は、より高度な機能を持つTorchCompileModelAdvancedノードの使用を推奨しています。これは実験的な機能であり、その動作はPyTorchのバージョンやハードウェア環境によって異なる可能性があります。使用前には十分なテストが必要です。