アリ通義研究所がVACEを発表：統合ビデオ生成および編集モデル
通義研究所は3月11日に新しいビデオ生成および編集モデルVACE（Video Creation and Editing）を発表しました。これは、さまざまなビデオ処理機能を統合したAIツールで、統一されたフレームワークを通じてビデオ制作プロセスを簡素化することを目指しています。
主な機能特徴
VACEモデルの核心的な利点は、その「ワンストップ」処理能力にあり、従来は複数のツールが協力して行う必要があった複雑な作業を単一のフレームワークに統合します。具体的な機能は以下の通りです：
マルチタスク統一フレームワーク
- テキストからビデオ（T2V）：テキスト説明を通じて直接対応するビデオコンテンツを生成
- 参照からビデオ（R2V）：画像またはビデオサンプルに基づいて特定のテーマを含むビデオを生成
- ビデオ編集（V2V）：ビデオスタイルの変換、動的要素の追加など全体的な調整を実施
- マスクビデオ編集（MV2V）：時空間マスクを利用してビデオの特定の領域を修正
柔軟な創作組み合わせ能力
VACEの最大の特徴は「万能編集」をサポートしており、ユーザーがさまざまな機能を柔軟に組み合わせることができる点です：
- 任意の物体を移動：ビデオ内の物体の運動経路を調整
- 任意のオブジェクトを置き換え：ビデオ内の人物や物体を指定された参照に置き換え
- 任意の画面を拡張：ビデオの境界を拡張したり、内容を埋める
- 任意の静物をアニメーション化：静的画像に自然な運動効果を付与
技術ハイライト
VACEモデルは複数の革新技術を採用しています：
- ビデオ条件ユニット：テキスト、画像、ビデオ、マスクなどのマルチモーダル入力を統一処理
- 概念分離戦略：ビデオ内の要素（例：人物、背景、動作）を自動的に分離し、独立した修正をサポート
- コンテキストアダプター構造：拡散変換器アーキテクチャに基づき、さまざまな作業に適応する生成戦略を動的に調整
実際の応用例
このモデルは以下の分野で広く活用される可能性があります：
- ソーシャルメディアの短いビデオの迅速な制作
- 広告およびマーケティングコンテンツの制作
- 映画の後処理および特殊効果の処理
- 教育訓練ビデオの生成
開発チーム
VACEは通義研究所の研究チームによって開発され、主要メンバーにはZeyinzi Jiang、Zhen Han、Chaojie Mao、Jingfeng Zhang、Yulin Pan、Yu Liuが含まれます。
未来の発展
開発チームは、VACEの今後の最適化方向を以下のように示しました：
- ビデオ生成の質と一貫性を向上
- リアルタイム編集能力を拡張
- 3D生成機能を強化
- 音声指令インタラクションを探求
VACEの発表は、AIビデオ制作ツールが使いやすさと統合性の方向に進化する重要な一歩を示しており、ビデオ制作のハードルを大幅に下げ、コンテンツクリエイターにより便利なツールを提供することが期待されています。