CrossView IC-LoRA：通过提示控制改变 LTX-2.3 视频的相机视角
news
Cseti 发布了一款针对 LTX-2.3 的概念验证 IC-LoRA，它充当虚拟第二相机，让你能够使用离散的提示词汇表改变现有视频素材的相机角度。
Cseti 发布了 CrossView IC-LoRA，这是一款针对 LTX-Video 2.3 的概念验证适配器，充当虚拟第二相机。 给定一个参考视频和一个相机角度提示，它就能从请求的新视角重新渲染同一场景——保持主体和内容不变，同时改变相机位置。
该 LoRA 在合成的多视图数据（基于 Unreal Engine 5 渲染的 SynCamVideo 数据集）上训练，但对真实视频也能泛化出令人印象深刻的结果。作为一个 v0.9 概念验证，它有明显的局限性，但根据早期社区测试，已经能产生“相当不错”的输出。
模型页面上的示例结果展示了从不同角度重新渲染的场景——从右下角拍摄的战士形象、从右后拍摄的水下场景、从右近拍摄的汽车等：
| 参考 | 已生成（提示：向右，更低，更近） |
|---|---|
| 示例1：战士 | 示例2：水下 |
| 示例3：汽车 | 示例4：轮滑 |
查看完整的展示蒙太奇，请访问 Hugging Face 模型页面。
工作原理
与传统需要深度图或3D几何体的相机控制方法不同，CrossView 采用上下文 LoRA（IC-LoRA）方法。参考视频通过模型的注意力机制进行条件化，而离散的提示词汇表告知模型虚拟相机应移动到何处。
提示词汇表
该模型使用固定的、离散的相机词汇表——每个提示必须以触发器 crossview. 开头，后接模板：
crossview. new camera angle: {azimuth}, {elevation}, {distance}.| 轴 | 允许的短语 |
|---|---|
| 方位角（绕主体旋转） | same angle · slightly to the left · slightly to the right · to the left · to the right · far to the left · far to the right |
| 仰角（相机高度） | lower · same height · higher |
| 距离（到主体） | closer · same distance · further |
示例提示：
crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.使用技巧
- 小步长效果最佳： 对于大角度变化，请串联几个小角度变化——将已生成的视图作为新的参考输入，再应用另一个小角度
- 蒸馏模型上的 LoRA 强度： 该 LoRA 在完整（非蒸馏）LTX-2.3 上训练。在蒸馏的少步工作流上，尝试 LoRA 强度 1.2–1.5，或在首轮非蒸馏步中运行
- 使用词汇表中的精确短语——模型学习的是这个特定词汇表；像“向左45度”这样的同义词效果不可靠
训练详情
| 参数 | 值 |
|---|---|
| 基础模型 | LTX-Video 2.3 (22B) |
| 训练框架 | ltx-trainer (Lightricks) |
| LoRA 秩 / 透明度 | 16 / 16 |
| 目标模块 | attn1, attn2 (to_k/q/v/out) — 仅注意力 |
| 训练数据集 | 294 对精选相机对，来自 SynCamVideo |
| 分辨率 | 768×768×81 @ 15fps |
| 许可证 | Apache 2.0 |
可用性
该 LoRA 在 Hugging Face 上以 Apache 2.0 许可证提供：
模型： Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
示例工作流： ComfyUI 工作流
基础模型： Lightricks/LTX-2.3