CoinVE-Edit：Wan2.1 ベースのマルチ指示ビデオ編集

テンセントの Smart Creation Platform チームは 8 月 18 日、CoinVE-Edit を公開しました。1 回のフォワードパスで複数の編集指示を同時に実行できる構成的指示ビデオ編集モデルです。Wan2.1-T2V-14B ビデオ DiT と Qwen3-VL-8B マルチモーダルエンコーダを基盤とする 22B モデルで、CoinVE-200K 学習データセットと CoinVE-Bench 評価ベンチマークとともに公開されました。

CoinVE-Edit のフレームワーク：MLLM が各指示をソース動画とともにエンコードし、マスクヘッドが指示ごとの領域を予測、残差アテンションモジュールが Wan2.1 DiT に領域ガイダンスを注入します。

1 回のフォワードパスで複数編集

ほとんどのオープンソースビデオ編集モデルは一度に 1 つの指示しか処理できません。CoinVE-Edit は同じクリップに対する 2〜5 件の編集指示を受け付け、各編集を指定領域に限定したまま同時に適用します：

• 領域認識マスクガイダンス — 軽量マスクヘッドが MLLM のビジュアルトークンから指示ごとの空間マスクを予測し、編集を正しい領域内に収めます
• 残差アテンション — 残差アテンションモジュールが指示ごとのマスクガイダンスを DiT アテンション層に注入し、各編集が自分の領域に収まりつつフレームの他の部分は保持されます
• 構成的操作 — Replace（置換）、Add（追加）、Remove（削除）、Background Change（背景変更）を 1 パスで自由に組み合わせられます

CoinVE-200K データセット

CoinVE-200K は、20 万件超の 1080p ビデオ編集ペア（1 クリップ最大 201 フレーム）からなる大規模データセットで、自動データ生成と品質フィルタリングパイプラインで構築されています。各サンプルは人物・物体・背景にまたがる 2〜5 件のアトミック編集操作を含み、指示ごとのマスクと結合マスクの両方を備えます。ReCo-Data や OpenVE-3M などの既存データセットは単一指示編集に限定されており、実世界の複数編集シナリオでモデルの能力を制限しています。

既存のビデオ編集データセットとの比較：指示ごと・結合マスク付きの構成的・多指示サンプル。

ベンチマーク：CoinVE-Bench

CoinVE-Bench は Gemini 3.6 Flash がスコアリングする 361 件の多指示テストケースを提供します。CoinVE-Edit は編集精度指標（SA / SPA / EP）とモーション自然度（MN）でオープン・商用システムをリードします：

利用方法

CoinVE-Edit はまだネイティブの ComfyUI サポートがなく、DiffSynth-Studio ベースの公式 Python 推論パイプラインで実行します。checkpoint には DiT LoRA（rank 128）、MLLM LoRA（rank 256）、学習済み画像/動画クエリ埋め込み、コネクタ、VAE 条件エンコーダ、マスクヘッドが含まれ、Wan2.1-T2V-14B と Qwen3-VL-8B-Instruct のベースモデルに重ねてロードする必要があります。試用には Hugging Face デモスペース が用意されています。

テクニカルレポート とプロジェクトページでアーキテクチャ・データパイプライン・ベンチマークの詳細を確認できます。推論スクリプトは CoinVE-200K GitHub リポジトリ にあります。