FloED: 光学フローガイド拡散モデルを活用した効率的なオープンソース動画修復技術

香港科技大学とアリババダモアカデミーの研究チームが最近、FloEDという動画修復フレームワークをリリースしました。このプロジェクトは光学フローガイド拡散モデル技術を使用して、動画修復タスクにおける時間的一貫性と計算効率を向上させています。チームは推論コードとモデルの重みをオープンソースとして公開し、AI動画処理分野に新たなツールを提供しました。

解決する主要な問題

動画修復とは、AI技術を使用して動画の欠損部分や削除したい部分を自然で一貫性のある結果に見えるように埋めることを指します。既存の拡散モデルベースの動画修復手法には主に2つの問題があります：

1. 時間的一貫性の不足：修復された動画はフレーム間でちらつきや不安定さがよく見られる
2. 低い計算効率：拡散モデル自体が計算コストが高く、動画処理に必要な追加ステップにより既存の手法は遅くなっている

FloEDは巧みな設計によりこれらの問題を解決し、動画修復の結果をより自然にすると同時に処理効率を大幅に向上させました。

技術的革新点

FloEDの主な革新点には以下が含まれます：

• デュアルブランチアーキテクチャ：専用のブランチがまず損傷した光学フロー（動画内のオブジェクトの動き情報）を復元し、次にこの動き情報をマルチスケールフローアダプターを通じてメイン修復ブランチに提供し、生成されるコンテンツの方向性をガイドする

• 潜在空間補間の高速化：光学フロー情報を特徴補間に利用し、追加トレーニングなしで多段階ノイズ除去プロセスを高速化

• フロー注意キャッシング：計算プロセスを最適化し、光学フローの導入によって増加する計算オーバーヘッドを削減

これらの技術により、FloEDは高品質な動画修復結果を維持しながら処理速度を大幅に向上させることができます。

応用シナリオとデモ

FloEDは主に2種類の動画修復タスクに適用できます：

オブジェクト除去（Object Removal）

背景の一貫性と自然な移行を維持しながら、動画から不要なオブジェクトを削除します。

背景修復（Background Restoration）

動画の広範囲な背景領域を修復し、周囲の環境との視覚的および時間的な一貫性を維持します。

オープンソースの進捗

プロジェクトの最新更新によると、FloEDチームは2025年4月13日に推論コードとモデルの重みをリリースしました。興味のあるユーザーは以下のステップでアクセスできます：

1. 必要な環境をインストール（環境設定ファイルを通じて）
2. FloEDの重みをダウンロードして準備
3. 提供されたサンプルスクリプトを使用して迅速に推論を開始

今後の計画

プロジェクトチームのロードマップによると、今後以下がリリースされる予定です：

• 潜在空間補間コード
• トレーニングコードと評価ベンチマーク

関連リンク

• プロジェクトホームページ
• GitHubリポジトリ
• 研究論文