LTX 2.3 CrossView Prompt IC-LoRA:用于视频生成的虚拟相机控制

news

Cseti 发布了一款新颖的 IC-LoRA,适用于 LTX-Video 2.3,可作为虚拟第二相机,让用户通过简单的文本提示从新的相机角度重新渲染视频场景。

一款新的社区训练的上下文 LoRA(IC-LoRA)为 LTX-Video 2.3 带来了虚拟相机控制,用于 AI 视频生成。社区开发者 Cseti 创建的 CrossView Prompt IC-LoRA 充当“虚拟第二相机”——它接收一个参考视频和一段简短的相机角度提示,然后从请求的新视角重新渲染同一场景。

工作原理

该 LoRA 使用基于三个相机轴的固定离散提示词汇表:

  • 方位角 — 围绕主体旋转(相同角度、稍微偏左/右、向左/右、远向左/右)
  • 仰角 — 相机高度(更低、相同高度、更高)
  • 距离 — 与主体的距离(更近、相同距离、更远)

每个提示必须以触发词 crossview. 开头,后跟模板:

crossview. new camera angle: to the right, lower, closer.

这提供了 63 种有效的相机角度组合,可在一步内实现精确的视角变换。

示例输出

该 LoRA 生成并排对比,显示原始参考视频(上方)与生成的新相机视角(下方)。示例输出视频展示了包括以下相机移动:

  • 将相机向右、更低、更靠近主体移动
  • 向左、更高、更远移动
  • 从上方到下方改变仰角

ComfyUI 集成

该 LoRA 专为 ComfyUI 视频转视频 IC-LoRA 工作流 设计。使用方法简单:

  1. 在 ComfyUI 中加载 LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors 作为 LoRA
  2. 提供一个参考视频(你想要重新拍摄的场景)
  3. 使用固定词汇表编写相机角度提示
  4. 生成

示例工作流可在 配套数据集页面 获取。

最佳效果技巧

  • 小角度变化效果最佳 — 模型在单步变换时最可靠。如需较大视角变化,请链式使用多个小步骤:将生成的视角作为新参考再次输入,并应用另一个小角度。
  • 蒸馏模型用户 — 在少步骤蒸馏工作流中,尝试更高的 LoRA 强度(1.2–1.5),或在第一个非蒸馏步骤中运行。
  • 该模型使用 KlingTeam SynCamVideo 数据集的 294 对合成相机视角在 LTX-Video 2.3(完整非蒸馏版本)上训练。

训练详情

参数数值
基础模型LTX-Video 2.3 (22B)
训练框架ltx-trainer (Lightricks)
LoRA 秩 / 透明度16 / 16
目标模块attn1, attn2 (to_k/q/v/out) — 仅注意力层
训练数据集294 对合成多视角数据 (SynCamVideo, Apache-2.0)
分辨率768×768×81 @ 15fps

下载

该 LoRA 以 Apache 2.0 许可证在 Hugging Face 上提供:

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt

LTX 2.3 CrossView Prompt IC-LoRA:用于视频生成的虚拟相机控制 | ComfyUI Wiki