Qwen-Video-Edit: Wan 2.1 潜在を編集する指示ベース動画編集モデル(ComfyUI対応)
Qwen-Video-Editは、Qwen-Image-EditのDiTを転用してテキスト指示からWan 2.1の動画潜在を編集するモデルです。360Pから720Pまでのチェックポイントと公式ComfyUIノードを提供します。
Qwen-Video-Edit
動画編集指示ベースWan 2.1ComfyUIカスタムノードQwen-Image-EditのDiTを転用し、Wan 2.1の動画VAE潜在を直接編集する指示ベースの動画編集モデルです。2つの軽量で学習可能な投影層がその橋渡しを担います。ファインチューニング済みチェックポイントは360Pから720Pまで対応し、このリポジトリは公式ComfyUIカスタムノードパックも兼ねています。
バリアント
| バリアント | 説明 | ライセンス | 公開時期 |
|---|---|---|---|
| Qwen-Video-Edit | Qwen-Image-EditのDiTを介してWan 2.1の潜在に対して行う指示ベースの動画編集。360P、480P、720Pのファインチューニングと公式ComfyUIノードを提供 | MIT | 2026-08 |
上記からバリアントを選択すると、厳選された重みのダウンロード、チュートリアル、関連情報を確認できます。
Qwen-Video-Edit について
Qwen-Video-Editは、動画で事前学習された編集モデルとは異なるアプローチをとります。動画拡散Transformerを編集指示に従うよう適応させるのではなく、強力な指示ベースの画像エディタに動画潜在を編集させる方法です。Qwen-Image-EditのDiTがWan 2.1の動画VAE潜在を直接操作し、エディタ自身のpatchify層とunpatchify層からウォームスタートされた軽量な入力・出力投影層のペアがその橋渡しをします。初期化の時点では、静的な動画はエディタが既に理解している画像とまったく同じように埋め込まれるため、ファインチューニングは分布シフトを学習するだけで済みます。
この方法を支える設計上の選択は3つあります。潜在フレームは1つの仮想的な大きな画像のタイルとして配置されるため、エディタの画像位置エンコーディングがすべてのタイルに変更なしで適用されます。Qwen2.5-VLブランチは、指示とソースフレームのプレビューグリッドを一緒にエンコードします。凍結されたWan 2.1 VAEが両端のエンコードとデコードを担い、Dittoから取得したオプションのWan 2.2ノイズ除去強化ステージが編集後の潜在をクリーンアップします。報告はYunpeng Bai、Yossi Gandelsman、Michaël Gharbi、Qixing Huangによるもので、コード、論文、360Pチェックポイントが2026-08-14に公開され、ComfyUIサポートと480P、720Pチェックポイントが2026-08-20に続きました。
チェックポイント
ファインチューニング済みチェックポイントは360Pから720Pまで公開されています。ディレクトリ名はDitto-1Mトレーニングサブセット(global、local、sim2real)とサポートされるチャンク長(45または81フレーム)を表しており、360Pでglobalとlocalのサブセットを合わせてトレーニングしたチェックポイントが推奨のデフォルトです。推論時にはフレーム数と最大ピクセルバジェットがチェックポイントと一致している必要があり、すべてのチェックポイントはlatent_mode wan_compressedとpe_mode gridを使用します。
ComfyUI
このリポジトリは、シングルチャンクのセマンティクスを持つComfyUIカスタムノードパックも兼ねています。1回のサンプラー呼び出しで1つのnum_framesウィンドウを編集し、長い動画はチャンクごとに編集されます。QwenVideoEditカテゴリには3つのノードが登録されており、このノードパックは動画の読み込みと結合のためにComfyUI-VideoHelperSuiteに依存しています。ベースとなるQwen-Image-EditとWan 2.1の重みは初回実行時に自動で取得され、合計でおよそ55 GBになります。さらに強化ステージにはWan 2.2 T2V-A14Bが必要です。推奨チェックポイントはModelScopeにもミラーされています。
コメント
GitHubでサインインしてディスカッションに参加しましょう。