LTX 2.3 CrossView Prompt IC-LoRA:用于视频生成的虚拟相机控制
news
Cseti 发布了一款新颖的 IC-LoRA,适用于 LTX-Video 2.3,可作为虚拟第二相机,让用户通过简单的文本提示从新的相机角度重新渲染视频场景。
一款新的社区训练的上下文 LoRA(IC-LoRA)为 LTX-Video 2.3 带来了虚拟相机控制,用于 AI 视频生成。社区开发者 Cseti 创建的 CrossView Prompt IC-LoRA 充当“虚拟第二相机”——它接收一个参考视频和一段简短的相机角度提示,然后从请求的新视角重新渲染同一场景。
工作原理
该 LoRA 使用基于三个相机轴的固定离散提示词汇表:
- 方位角 — 围绕主体旋转(相同角度、稍微偏左/右、向左/右、远向左/右)
- 仰角 — 相机高度(更低、相同高度、更高)
- 距离 — 与主体的距离(更近、相同距离、更远)
每个提示必须以触发词 crossview. 开头,后跟模板:
crossview. new camera angle: to the right, lower, closer.这提供了 63 种有效的相机角度组合,可在一步内实现精确的视角变换。
示例输出
该 LoRA 生成并排对比,显示原始参考视频(上方)与生成的新相机视角(下方)。示例输出视频展示了包括以下相机移动:
- 将相机向右、更低、更靠近主体移动
- 向左、更高、更远移动
- 从上方到下方改变仰角
ComfyUI 集成
该 LoRA 专为 ComfyUI 视频转视频 IC-LoRA 工作流 设计。使用方法简单:
- 在 ComfyUI 中加载
LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors作为 LoRA - 提供一个参考视频(你想要重新拍摄的场景)
- 使用固定词汇表编写相机角度提示
- 生成
示例工作流可在 配套数据集页面 获取。
最佳效果技巧
- 小角度变化效果最佳 — 模型在单步变换时最可靠。如需较大视角变化,请链式使用多个小步骤:将生成的视角作为新参考再次输入,并应用另一个小角度。
- 蒸馏模型用户 — 在少步骤蒸馏工作流中,尝试更高的 LoRA 强度(1.2–1.5),或在第一个非蒸馏步骤中运行。
- 该模型使用 KlingTeam SynCamVideo 数据集的 294 对合成相机视角在 LTX-Video 2.3(完整非蒸馏版本)上训练。
训练详情
| 参数 | 数值 |
|---|---|
| 基础模型 | LTX-Video 2.3 (22B) |
| 训练框架 | ltx-trainer (Lightricks) |
| LoRA 秩 / 透明度 | 16 / 16 |
| 目标模块 | attn1, attn2 (to_k/q/v/out) — 仅注意力层 |
| 训练数据集 | 294 对合成多视角数据 (SynCamVideo, Apache-2.0) |
| 分辨率 | 768×768×81 @ 15fps |
下载
该 LoRA 以 Apache 2.0 许可证在 Hugging Face 上提供: