JoyAI-Video-Edit: JD Open Source によるリアルタイムビデオ編集

JD Open Source は、オープンエンドなビデオストリーム向けのリアルタイム・指示追従型ビデオ編集システム JoyAI-Video-Edit を公開しました。ライブのカメラストリームまたはアップロードされたビデオと、自然言語による編集指示を与えると、フレームが到着するたびに因果的に編集します。ビデオ全体を待つ必要も、事前に長さを指定する必要も、将来のフレームを参照し直す必要もありません。デプロイメントベンチマークでは、エンドツーエンドのパイプライン全体で 720×1280 において 30.19 FPS を達成し、ビデオ編集をオフラインのバッチ処理からインタラクティブなストリーミング生成へと押し上げます。

ケース1: 公式サンプルセットからの編集出力

リアルタイム・オープンエンド編集

このシステムは、MLLMベースの条件エンコーダー、因果ビデオVAE、16Bパラメータのマルチモーダル拡散トランスフォーマー を組み合わせています。自己回帰拡散エディターとしてトレーニングおよびデプロイされ、整合性のある自己回帰分布マッチング蒸留、長期ホライズンの最適化、制限付きKV状態推論、デプロイメント指向のスケジューリングによって高速化されています。これにより、トレーニングと推論のミスマッチや、時間経過に伴って累積するドリフトを低減しながら、ハイスループットな720p編集を実現します。

ケース2: 公式サンプルセットからの編集出力

仕組み

JoyAI-Video-Edit は、ビデオを因果ストリームとして処理します。各フレームチャンクは、過去のコンテキストのみを使用してエンコードおよび編集されるため、生成レイテンシはビデオの長さに関係なく一定に保たれます。自己回帰拡散設計により、モデルは長いストリーム全体で一貫性を維持できます。また、制限付きKV状態推論により、デプロイ中のメモリとチャンクごとの計算量が安定します。蒸留（アライメントされた自己回帰分布マッチング）と長期ホライズンの最適化により、トレーニングと推論時の動作のギャップを埋め、多くの編集フレームにわたって通常蓄積されるドリフトを低減します。

ケース3: 公式サンプルセットからの編集出力

利用方法

JoyAI-Video-Edit はまだネイティブの ComfyUI サポートを備えていません。公式の Python デプロイメントパイプラインを通じて実行します。プロジェクトリポジトリ に完全なセットアップが記載されています。

1. Python 3.10+ と pip install -r requirements.txt で依存関係をインストールします
2. Hugging Face からリリースされた重みを deploy/deps/checkpoints/JoyAI-Video-Edit/ にダウンロードします（DITチェックポイントとVAE）。MiMo-VL と ONNX 検出器ファイルは外部のランタイム依存関係です。詳細は DEPLOYMENT.md を参照してください
3. cd deploy && bash run_server.sh でサーバーを起動し、http://localhost:8080 を開きます

リモートマシンの場合は、サーバーを 0.0.0.0 にバインドして選択したポートを開くか、SSHポートフォワーディングを使用します。カスタムデプロイメントでは、deploy/run_server.sh を編集してチェックポイントパス、CUDAデバイス配置、ホスト、ポートを設定できます。

技術報告 では、アーキテクチャ、蒸留、デプロイメント技術について詳しく説明しています。