ComfyUI にフレーム単位アップスケール向け Video Deflicker ノードが追加
ComfyUI コアに Kijai の Video Deflicker ノードが入りました。フレームごとに処理した映像のちらつきを除去し、ネイティブ RAFT のフローは torchvision より約 2.3 倍高速です。
ComfyUIコアに Video Deflicker ノードが追加されました。フレーム単位のアップスケールなど、1フレームずつ処理したことでちらつくフレームを渡すと、各フレームのディテールを保ちながら隣接フレームへ寄せていきます。このノードはKijai氏によるPR #17754で追加され、11月15日にマージされました。必要な追加ファイルは、torchvisionのRAFT-largeチェックポイントを ComfyUI/models/optical_flow/ に置くだけです。
左: 1フレームずつ処理したクリップ。右: Video Deflicker適用後の同じクリップ。出典: Comfy-Org/ComfyUI #17754
2つのクリップを並べたもの。それぞれ53フレーム、各パネル720 pxで再エンコード。
修正できる問題
- フレーム単位のアップスケールやフレーム単位の編集: 各フレームが単独で処理されるため、フレーム間のわずかな差がちらつきとして見えるケース。
- きれいなソースを
guideとして渡すことが効果を発揮する鍵です。ノードはちらついているフレームではなく、安定したフレームから動きを読み取ります。guideを指定しない場合は入力フレームを使用するため、除去効果は弱くなります。 - 本当の変化は残ります。
thresholdは動き補償した隣接フレームとの差を本物の変化として判定するため、カットや素早い動きがぼやけて消えることはありません。
実行方法
- download.pytorch.org から
raft_large.pth(torchvision RAFT-large、21 MB)をダウンロードし、ComfyUI/models/optical_flow/に配置します。ComfyUIがオプティカルフローの重みを自動でダウンロードすることはありません。 - オプティカルフローモデルの読み込みを追加し、
raft_large.pthを選択します。 - Video Deflicker(カテゴリ
video)を追加し、フローモデル、ちらついているフレーム、きれいなソースフレームをguideに接続します。
| 入力 | デフォルト | 動作 |
|---|---|---|
optical_flow | 必須 | Load Optical Flow ModelのRAFT-large |
images | 必須 | ちらついているフレーム |
guide | images | 動きの読み取りに使う安定したフレーム。解像度は任意 |
strength | 1.0 | 各フレームが隣接フレームにどれだけ従うか。大きいほど細部がより平滑化される |
direction | bidirectional | 順方向と逆方向のパスの平均を取る。forward は処理時間が半分 |
threshold | 0.1 | これを超える変化はシャープなまま保たれる。0ではすべての変化を均等に平滑化 |
フローは内部的に最大768x768で計算されるため、4Kのguideは動き推定用に縮小され、求解のみがフル解像度で実行されます。
コアでの高速なRAFT
同じPRで、torchvisionの raft_large がネイティブ実装に置き換えられました。ネットワークはfp16、相関計算はfp32で実行し、更新ループは動的VRAM下でCUDAグラフとして動作します。1024x576ではtorchvision版より約 2.3倍高速 です。VOIDのwarped-noiseノードもこれを利用するようになりました。
提供状況
このノードは11月15日のマージ時点でmainブランチに含まれています。最新のタグ付きリリースであるv0.45.0(11月10日)はこれより前のため、次のリリースまではナイトリービルドを使用してください。
コメント
GitHubでサインインしてディスカッションに参加しましょう。