ComfyUI にフレーム単位アップスケール向け Video Deflicker ノードが追加

ComfyUI Wikinews

ComfyUI コアに Kijai の Video Deflicker ノードが入りました。フレームごとに処理した映像のちらつきを除去し、ネイティブ RAFT のフローは torchvision より約 2.3 倍高速です。

ComfyUIコアに Video Deflicker ノードが追加されました。フレーム単位のアップスケールなど、1フレームずつ処理したことでちらつくフレームを渡すと、各フレームのディテールを保ちながら隣接フレームへ寄せていきます。このノードはKijai氏によるPR #17754で追加され、11月15日にマージされました。必要な追加ファイルは、torchvisionのRAFT-largeチェックポイントを ComfyUI/models/optical_flow/ に置くだけです。

Video Deflickerの前と後

左: 1フレームずつ処理したクリップ。右: Video Deflicker適用後の同じクリップ。出典: Comfy-Org/ComfyUI #17754

2つのクリップを並べたもの。それぞれ53フレーム、各パネル720 pxで再エンコード。

修正できる問題

  • フレーム単位のアップスケールやフレーム単位の編集: 各フレームが単独で処理されるため、フレーム間のわずかな差がちらつきとして見えるケース。
  • きれいなソースを guide として渡すことが効果を発揮する鍵です。ノードはちらついているフレームではなく、安定したフレームから動きを読み取ります。guideを指定しない場合は入力フレームを使用するため、除去効果は弱くなります。
  • 本当の変化は残ります。 threshold は動き補償した隣接フレームとの差を本物の変化として判定するため、カットや素早い動きがぼやけて消えることはありません。

実行方法

  1. download.pytorch.org から raft_large.pth(torchvision RAFT-large、21 MB)をダウンロードし、ComfyUI/models/optical_flow/ に配置します。ComfyUIがオプティカルフローの重みを自動でダウンロードすることはありません。
  2. オプティカルフローモデルの読み込みを追加し、raft_large.pth を選択します。
  3. Video Deflicker(カテゴリ video)を追加し、フローモデル、ちらついているフレーム、きれいなソースフレームを guide に接続します。
入力デフォルト動作
optical_flow必須Load Optical Flow ModelのRAFT-large
images必須ちらついているフレーム
guideimages動きの読み取りに使う安定したフレーム。解像度は任意
strength1.0各フレームが隣接フレームにどれだけ従うか。大きいほど細部がより平滑化される
directionbidirectional順方向と逆方向のパスの平均を取る。forward は処理時間が半分
threshold0.1これを超える変化はシャープなまま保たれる。0ではすべての変化を均等に平滑化

フローは内部的に最大768x768で計算されるため、4Kのguideは動き推定用に縮小され、求解のみがフル解像度で実行されます。

コアでの高速なRAFT

同じPRで、torchvisionの raft_large がネイティブ実装に置き換えられました。ネットワークはfp16、相関計算はfp32で実行し、更新ループは動的VRAM下でCUDAグラフとして動作します。1024x576ではtorchvision版より約 2.3倍高速 です。VOIDのwarped-noiseノードもこれを利用するようになりました。

提供状況

このノードは11月15日のマージ時点でmainブランチに含まれています。最新のタグ付きリリースであるv0.45.0(11月10日)はこれより前のため、次のリリースまではナイトリービルドを使用してください。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
ComfyUI にフレーム単位アップスケール向け Video Deflicker ノードが追加 | ComfyUI Wiki