ComfyUI Nvidia VFX Nodes 0.2.1: RTXアップスケーリング、HDR、フレーム生成
Comfy-OrgのNvidia VFX Nodesが0.2.1に到達。RTX Video Super Resolution、RTX Video HDR、RTX Video Frame Generationに加え、公式テンプレートとManagerからのインストールに対応しました。
nvidia-vfxバインディングをComfy-Orgがラップしたものです。バージョン0.2.1は10月13日にComfy Registryへ公開され、同日に公式のRTX Video EnhanceテンプレートがComfyUIのワークフローテンプレートに追加されました。また、このパックは他の拡張と同様にComfyUI Managerからインストールできるようになりました。3つのノードは、通常のComfyUIグラフ内でAIによる動画超解像、SDRからHDRへの変換、フレーム補間を処理します。
RTXのフルチェーン: 超解像、次にHDR、そしてフレーム生成。出典: ComfyUI Nvidia VFX Nodes。
このパックが追加するもの
この拡張は以前「Nvidia RTX Nodes」という名前で動作していましたが、この名前変更が0.2.xでの主な変更点です。TrueHDRノードは現在RTX Video HDRという名前に変わり、このパックはレジストリ上でcomfyuiパブリッシャーの下にcomfyui_nvidia_rtx_nodesとして公開されています。
| ノード | カテゴリ | 入力 | 出力 |
|---|---|---|---|
| RTX Video Super Resolution | image/upscaling | IMAGEバッチ | upscaled_images、フレーム数は同じ |
| RTX Video HDR | image/enhancement | IMAGEバッチ | hdr_images、サイズは同じ |
| RTX Video Frame Generation | video | IMAGEバッチ | interpolated_images、オリジナル間に新しいフレームを挿入 |
3つともComfyUIのIMAGEバッチで動作するため、Load VideoノードとCreate Videoノードの間に挿入でき、モデルのダウンロードもサンプリンググラフへの変更も不要です。
RTX Video Super Resolution
このノードは画像またはデコード済みの動画フレームバッチを受け取り、アップスケーリング、ノイズ除去、シャープ化した結果を返します。処理は長い品質モードのリストから選択します。
| モード | 処理 |
|---|---|
BICUBIC | 非AIのバイキュービック補間 |
LOW / MEDIUM / HIGH / ULTRA | 圧縮済みソース向けの標準AIアップスケーリング。最速から最も詳細なものまで |
DENOISE_LOW〜DENOISE_ULTRA | 同じ解像度でのノイズおよび圧縮アーティファクト除去 |
DEBLUR_LOW〜DEBLUR_ULTRA | ぼやけたソース向けの同じ解像度でのシャープ化 |
HIGHBITRATE_LOW〜HIGHBITRATE_ULTRA | クリーンまたはロスレスのソース向けのアップスケーリング。アーティファクト抑制は弱め |
STREAMING_MEDIUM / STREAMING_ULTRA | 放送やWebカメラのストリーム向けに調整されたアップスケーリング |
出力サイズは1x〜4xのスケール、または明示的なターゲットサイズで設定でき、最も近い8の倍数に丸められます。DENOISE_*とDEBLUR_*は、リサイズ設定に関わらず常に入力サイズを維持します。フレーム数とフレームレートは変更されないため、動画の長さは変わりません。
RTX Video Super Resolutionによる動画アップスケーリングのパス。出典: ComfyUI Nvidia VFX Nodes。
同じノードを静止画バッチに適用した例。出典: ComfyUI Nvidia VFX Nodes。
メモリを抑えるため、このノードはバッチを出力16メガピクセル以下のチャンクに分割します。1チャンクあたり少なくとも1フレームは含まれます。
RTX Video HDR
このノードはSDR画像をHDRデータに変換します。コントラスト、彩度、ミドルグレー、400〜2000ニトのターゲットピーク輝度に加えて、デバンディング処理、およびBT.2020/HLG（HDR）とBT.2020/PQ（HDR PQ）の出力の選択肢を提供します。
RTX Video HDRを通す動画。出典: ComfyUI Nvidia VFX Nodes。
ComfyUIのIMAGEはカラースペースのメタデータを持たないため、このノードが返す値は意図の上でだけHDR信号です。下流でそれらを保存またはエンコードするものには、BT.2020/HLGまたはBT.2020/PQとして扱うよう指示する必要があります。そうしないと、結果は通常のSDRデータとして不正確に見えてしまいます。長いクリップ向けに、リポジトリには動画をブロックに分割し、各ブロックを変換して結果を再び連結するチャンク方式のサンプルが用意されています。
長尺動画HDRのレシピ。フレームをチャンク単位で処理します。出典: ComfyUI Nvidia VFX Nodes。
RTX Video Frame Generation
3つ目のノードは隣接フレーム間を補間します。2x〜16xのフレームレート倍率、または0.01〜0.99の明示的なタイムステップのいずれかで指定でき、スローモーションとフレームレート変換の両方に対応します。ショットチェンジは自動検出されます。また、カット位置がわかっている場合は、shot_changeオプションで送信したペアをカットとしてマークできます。
Nフレームの入力と倍率Mの場合、このノードは(N - 1) M + 1フレームを返します。出力をオリジナルのフレームレートにMを掛けた値でエンコードすると、クリップの再生時間が維持されます。タイムステップモードでは、各ペアにちょうど1フレームを挿入し、2N - 1フレームになります。
隣接フレーム間のフレーム補間。出典: ComfyUI Nvidia VFX Nodes。
インストールと実行
最も簡単な方法はComfyUI Managerです。ComfyUI Nvidia VFX Nodesを検索してインストールします。手動インストールでは、リポジトリをcustom_nodesにクローンし、ComfyUIの起動に使用しているものと同じPythonインタープリタでrequirements.txtをインストールして、再起動します。
- NVIDIA RTX GPUが必須で、CUDA対応のPyTorchはcu130以降が必要です。ノードはComfyUIが選択済みのCUDAデバイスを使用し、CPUまたは非NVIDIAでの実行はサポートされていません。
- RTX Video Frame GenerationはRTX 40シリーズ以降でのみ動作します。
- このパックは
nvidia-vfxバインディングに依存しており、これらはrequirements.txtによってインストールされます。SDKの失敗はnvvfx.NvVFXErrorとして現れます。 - 各ノードでは1回のGPUパスが使用されるため、メモリ不足になるバッチは、解像度、スケール、品質モード、またはバッチ内のフレーム数を下げることで解決するのが最善です。
ワークフロー
10月13日にComfyUIに同梱された公式テンプレートは、3つのノードすべてを1つのRTX Video Enhanceグラフに連結しています。リポジトリには各ノード単体のインポート可能なサンプルも用意されています。
コメント
GitHubでサインインしてディスカッションに参加しましょう。