Model Memory Use Report Patch(ModelMemoryUseReportPatch)

Model Memory Use Report Patch ノード。このノードの技術的な実装は、入力されたモデルをクローンし、クローンされたモデルに2つのコールバック関数を追加するものです。

Model Memory Use Report Patch は、サンプリングプロセスにおけるモデルのGPUメモリ使用状況を監視・報告するための実験的なノードです。モデルにコールバック関数を追加することで、メモリ消費のピークデータを自動的に記録・出力し、ユーザーがモデル実行時のリソース使用状況を把握するのに役立ちます。

ノード機能

このノードの技術的な実装は、入力されたモデルをクローンし、クローンされたモデルに2つのコールバック関数を追加するものです。1つの関数はサンプリング前にCUDAメモリ統計カウンターをリセットし、もう1つの関数はサンプリング終了後にピーク割り当てメモリとピーク予約メモリを計算・記録します。これらのデータはGB単位で、システムのログ機能を通じて出力されます。

ノードパラメータ説明 - Model Memory Use Report Patch

入力接続 (Inputs)

出力 (Outputs)

使用シナリオ

複雑なワークフローをデバッグまたは最適化する際に、このノードをモデル読み込みノードの後、サンプラーノードの前に挿入できます。例えば、生成プロセスが遅い、またはメモリ不足エラーが発生した場合に、このノードを使用することで、どのモデルまたはどのサンプリング操作が最も多くのGPUメモリリソースを消費しているかを迅速に特定できます。

注意事項

このノードはPyTorchのCUDAメモリ管理インターフェースに依存しているため、CUDAが有効なGPU環境でのみ有効です。出力されるのは変更されたモデルのコピーであり、元のモデルには影響しません。

Model Memory Use Report Patch ノードソースコードリンク

Model Memory Use Report Patch ノードは ComfyUI-KJNodes ノードパッケージに含まれています。