快手がReCamMaster単眼ビデオ再撮影技術を発表
快手科技は最近、ReCamMasterという新しいビデオ処理技術を発表しました。この技術は、カメラの視点と動きの経路を制御することで、既存のビデオ素材を「再撮影」し、新しい動的視点効果を生成します。追加の撮影機器や複雑な後処理は不要です。
技術の特徴
ReCamMasterはユーザーに以下を可能にします:
- 単一のビデオソースから新しいカメラ軌跡を持つビデオを再作成
- 平行移動、傾斜、ズーム、弧を描く動きなど、さまざまなプリセットカメラ動作モードを提供
- ビデオ内のシーン内容と動作の一貫性を保持
- ビデオ安定化、4D再構築、データ拡張など、さまざまなアプリケーションシーンに適用可能
アプリケーションシーン
プロジェクトページによると、ReCamMasterは複数の分野で応用可能です:
- ビデオ安定化: 手持ち撮影の揺れたビデオを安定した滑らかな映像に変換
- 自動運転: 自動運転システムにデータ拡張を提供し、多角的な観察データを生成
- ロボットビジョン: 人工知能ロボットに多視点観察データを提供
- ビデオ制作: 制作者に新しいビデオ編集および制作ツールを提供
技術の原理
ReCamMasterは、事前に訓練されたテキストからビデオへの拡散モデルに基づいており、巧妙に設計されたビデオ条件メカニズムを通じて、元のビデオ内容を保持しながら、ユーザーが指定した新しいカメラ軌跡に基づいてビデオを生成します。この技術チームは、Unreal Engine 5を利用して大規模な多カメラ同期ビデオデータセットを構築し、モデルが現実世界の撮影特性により適応できるようにしています。
使用体験
快手科技はユーザーにReCamMaster技術を体験するよう招待しています。ユーザーは自分のビデオをアップロードし、以下の10種類の基本カメラ軌跡のいずれかを選択できます:
- 右に平行移動
- 左に平行移動
- 上に傾斜
- 下に傾斜
- 拡大（前進）
- 縮小（後退）
- 上に移動（回転付き）
- 下に移動（回転付き）
- 左に弧を描いて移動（回転付き）
- 右に弧を描いて移動（回転付き）
関連リンク
この技術は最近流行しているビデオ生成および編集技術、例えばTrajectoryCrafterに似ていますが、展示された効果によると、ReCamMasterはより高品質な結果を提供しているようです。現在、この技術は完全にはオープンソース化されていませんが、チームは試用の機会を提供しています。