CrossView IC-LoRA: LTX-2.3ビデオのカメラ視点をプロンプト制御で変更

CsetiはCrossView IC-LoRAをリリースしました。これはLTX-Video 2.3向けの概念実証アダプターで、仮想的なセカンドカメラとして機能します。 参照ビデオとカメラアングルのプロンプトを入力すると、対象とコンテンツを保持したまま、要求された新しい視点から同じシーンを再レンダリングします。

このLoRAは合成マルチビューデータ（Unreal Engine 5でレンダリングされたSynCamVideoデータセット）でトレーニングされていますが、実際の映像に対しても印象的な結果で汎化します。v0.9の概念実証として明確な限界はありますが、初期のコミュニティテストによると、すでに「かなり良い」出力を生成しています。

モデルページのサンプル結果は、異なる角度から再レンダリングされたシーンを示しています。戦士の像を右下から、水中シーンを右方向から遠くに、車を右方向から近くに、など：

参照	生成（プロンプト: 右、下、近く）
例1: 戦士	例2: 水中
例3: 車	例4: ローラースケート

フルショーケースモンタージュは Hugging Faceモデルページをご覧ください。

仕組み

深度マップや3Dジオメトリを必要とする従来のカメラ制御手法とは異なり、CrossViewはIn-Context LoRA（IC-LoRA）アプローチを使用します。参照ビデオはモデルのアテンションメカニズムを通じて条件付けられ、個別のプロンプト語彙が仮想カメラの移動先をモデルに伝えます。

プロンプト語彙

モデルは固定の個別カメラ語彙を使用します。すべてのプロンプトはトリガー crossview. で始まり、その後テンプレートに従います：

crossview. new camera angle: {方位角}, {仰角}, {距離}.

軸	使用可能なフレーズ
方位角（被写体の周りを回転）	`same angle` · `slightly to the left` · `slightly to the right` · `to the left` · `to the right` · `far to the left` · `far to the right`
仰角（カメラの高さ）	`lower` · `same height` · `higher`
距離（被写体までの距離）	`closer` · `same distance` · `further`

プロンプトの例：

crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.

使用のコツ

小さなステップが最も効果的： 大きな視点変更には、いくつかの小さな角度変更を連鎖させます。生成済みビューを新しい参照としてフィードバックし、別の小さな角度を適用します。
蒸留モデルでのLoRA強度： LoRAはフル（非蒸留）LTX-2.3でトレーニングされました。蒸留された数ステップワークフローでは、LoRA強度を1.2～1.5に設定するか、最初の非蒸留パスで実行してみてください。
語彙の正確なフレーズを使用してください。モデルはこの特定の語彙を学習しています。「45度左」のような同義語は信頼性が低くなります。

トレーニング詳細

パラメータ	値
ベースモデル	LTX-Video 2.3（22B）
トレーニングフレームワーク	ltx-trainer（Lightricks）
LoRA rank / アルファ	16 / 16
対象モジュール	attn1, attn2 (to_k/q/v/out) — アテンションのみ
トレーニングデータセット	SynCamVideo から厳選された294個のカメラペア
解像度	768×768×81 @ 15fps
ライセンス	Apache 2.0

入手方法

LoRAはApache 2.0ライセンスでHugging Faceから入手可能です：

モデル: Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
ワークフロー例: ComfyUI ワークフロー
ベースモデル: Lightricks/LTX-2.3