LTX 2.3 CrossView Prompt IC-LoRA:動画生成のための仮想カメラ制御

news

CsetiがLTX-Video 2.3向けの新しいIC-LoRAをリリースしました。これは仮想的なセカンドカメラとして機能し、ユーザーが簡単なテキストプロンプトを使って新しいカメラアングルから動画シーンを再レンダリングできるようにします。

新たにコミュニティでトレーニングされたIn-Context LoRA(IC-LoRA)がLTX-Video 2.3に仮想カメラ制御をもたらします。コミュニティ開発者Csetiによって作成されたCrossView Prompt IC-LoRAは、仮想的なセカンドカメラとして機能します:参照動画と短いカメラアングルプロンプトを受け取り、要求された新しい視点から同じシーンを再レンダリングします。

動作の仕組み

このLoRAは、3つのカメラ軸に基づいた固定の個別プロンプト語彙を使用します:

  • アジマス(方位角) — 被写体の周りを周回(同じ角度、少し左/右、左/右、かなり左/右)
  • エレベーション(仰角) — カメラの高さ(低い、同じ高さ、高い)
  • ディスタンス(距離) — 被写体への近さ(近い、同じ距離、遠い)

すべてのプロンプトはトリガーワード「crossview.」で始まり、テンプレートに従います:

crossview. new camera angle: to the right, lower, closer.

これにより、63通りの有効なカメラアングルの組み合わせにアクセスでき、1ステップで正確な視点のシフトが可能です。

出力例

このLoRAは、元の参照動画(上)と生成された新しいカメラビュー(下)を並べて比較する出力を生成します。出力動画の例では、以下のカメラシフトを示しています:

  • カメラを右、低く、被写体に近づける
  • 左、高く、遠くに移動
  • 仰角を上から下に変更

ComfyUI連携

このLoRAはComfyUIの動画から動画へのIC-LoRAワークフロー向けに設計されています。使用方法は簡単です:

  1. LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensorsをLoRAとしてComfyUIにロードする
  2. 参照動画(再撮影したいシーン)を提供する
  3. 固定語彙を使用してカメラアングルプロンプトを記述する
  4. 生成する

ワークフローの例は関連データセットページで入手できます。

最良の結果を得るためのヒント

  • 小さな角度変更が最も効果的 — モデルは1ステップのシフトで最も信頼性が高い。大きな視点変更の場合は、いくつかの小さなステップをつなげる:生成されたビューを新しい参照としてフィードバックし、別の小さな角度を適用する。
  • 蒸留モデルユーザー向け — 数ステップの蒸留ワークフローでは、より高いLoRA強度(1.2~1.5)を試すか、最初の非蒸留パスで実行する。
  • このモデルは、LTX-Video 2.3(フル、非蒸留)で、KlingTeam SynCamVideoデータセットから294の合成カメラペアを使用してトレーニングされました。

トレーニング詳細

パラメータ
ベースモデルLTX-Video 2.3 (22B)
トレーニングフレームワークltx-trainer (Lightricks)
LoRA rank / alpha16 / 16
ターゲットモジュールattn1, attn2 (to_k/q/v/out) — アテンションのみ
トレーニングデータセット294の合成マルチビューペア (SynCamVideo, Apache-2.0)
解像度768×768×81 @ 15fps

ダウンロード

このLoRAはHugging FaceでApache 2.0ライセンスの下で入手可能です:

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt

LTX 2.3 CrossView Prompt IC-LoRA:動画生成のための仮想カメラ制御 | ComfyUI Wiki