Step1X-Edit: オープンソースAI画像編集フレームワーク
2025/04/28
アリババの通義研究所がVACEをリリース：動画制作と編集が統合時代へ
2025年4月2日、杭州 — アリババグループの通義研究所は、多様な動画タスクのための世界初の統合フレームワークVACE（Video Creation and Editing Framework）を正式にリリースしました。このフレームワークはマルチモーダル技術を統合し、テキストから動画生成、動画編集から複雑なタスク組み合わせまでの全範囲をカバーし、AI動画技術が単一機能から端末間のインテリジェントな機能へと大きな進歩を遂げたことを示しています。
主要機能：動画の「スイスアーミーナイフ」
VACEは4つの主要機能を統合プラットフォームに統合しています：
- テキストから動画へ（T2V）：テキスト記述だけで動的な動画を生成します。例えば、「草の上で遊ぶ猫」が生き生きとしたシーンに変換されます。
- 参照から動画へ（R2V）：画像や動画セグメントに基づいてコンテンツを生成し、特定の要素（特定のキャラクターやシーンなど）の正確な組み込みを保証します。
- 動画から動画への編集（V2V）：動画全体のスタイル調整（サイバーパンクスタイルへの変換など）、色の再構成、動的要素の追加をサポートします。
- マスク付き動画から動画への編集（MV2V）：時空間マスク技術による局所的な修復やフレーム拡張を実装し、修正された領域をオリジナル動画とシームレスに統合します。
最も注目すべきは、VACEがこれらの機能の自由な組み合わせをサポートしていることです。例えば、「参照画像生成」と「マスク編集」を組み合わせることで、オブジェクトの置換やアクション転送などの複雑な作成が可能になり、従来のツールの境界を打ち破ります。
技術的ブレークスルー：3つの革新的エンジン
ビデオ条件ユニット（VCU）
マルチモーダル入力のための画期的な統一インターフェイスで、テキスト、画像、動画、マスクなどの異種データを標準化された入力ストリームに変換し、従来のツールの複数モデル切り替えの複雑さの問題を解決します。
コンセプト分離戦略
動画内のキャラクター、背景、アクションなどの要素を自動的に分離し、ターゲットを絞った編集を可能にします。例えば、シーンを維持しながら主要キャラクターを置き換えることで、従来の編集によって引き起こされる論理的な断絶を回避します。
コンテキストアダプターアーキテクチャ
Diffusion Transformer（DiT）に基づいて再構築されたインテリジェントカーネルで、タスク要件に応じて生成戦略を動的に調整します。修復タスクでは詳細に焦点を当て、スタイル化タスクでは全体的な雰囲気を最適化します。
テストデータによると、VACEで生成された1080P動画は、類似製品と比較して動的連続性メトリクスが23%向上し、複雑なシナリオでの編集効率が40%向上しています。
応用シナリオ：産業生産性の再構築
- コンテンツ制作：ショートビデオのクリエイターは「テキスト+参照画像」を通じて素材フレームワークを迅速に生成し、その後、ローカル編集によって作品を洗練させることができます。
- 映画・テレビ産業：特殊効果の制作と欠陥修復の自動化。ある映画会社のテストでは、ポストプロダクションコストが60%削減されたことが示されています。
- ソーシャルプラットフォーム：パーソナライズされたアニメーションコンテンツのワンクリック生成をサポートし、すでにアリババエコシステム内の複数のソーシャルアプリケーションに統合されています。
- 教育・トレーニング：教師はコースウェアのテキストと画像に基づいて教育ビデオを生成でき、学生はインタラクティブな学習教材を作成できます。
戦略的レイアウト：AIからCへのマイルストーン
このリリースは、アリババの「AI To C」戦略の重要な実装です。2024年末に通義チームがアリババクラウドからスピンオフしてスマート情報ビジネスグループに統合されて以来、その製品化プロセスは大幅に加速しました。VACEの立ち上げは消費者レベルの動画制作ツールのギャップを埋めるだけでなく、通義研究所の以前にオープンソース化されたViDoRAGシステム（文書理解精度79.4%）との技術的シナジーを形成し、マルチモーダルAIエコロジカルクローズドループを構築しています。
通義研究所の代表は次のように述べています：「VACEは将来的により多くの千問大規模モデル機能に接続するスーパーインテリジェントエージェントの入り口として機能し、最終的に『考えたことを得る』創造的体験を実現します。」現在、VACEはプレビュー版がリリースされており、2025年第3四半期に完全な商用化が予定されています。