CrossView IC-LoRA: Изменение ракурса камеры в видео LTX-2.3 с помощью управления промптами
Cseti выпускает доказательство концепции IC-LoRA для LTX-2.3, которая действует как виртуальная вторая камера, позволяя изменять угол съёмки существующего видео с помощью дискретного словаря промптов.
Cseti выпустила CrossView IC-LoRA — адаптер для LTX-Video 2.3, работающий как виртуальная вторая камера. Дайте ему эталонное видео и промпт с указанием угла съёмки, и он перерендерит ту же сцену с запрошенной новой точки, сохраняя объект и содержание, но меняя положение камеры.
LoRA обучена на синтетических мультивидовых данных (датасет SynCamVideo, отрендеренный в Unreal Engine 5), но показывает впечатляющие результаты и на реальных видео. Как доказательство концепции версии 0.9, у неё есть явные ограничения, но, по данным ранних тестов сообщества, она уже выдаёт «довольно качественный» результат.
Примеры с модельной страницы демонстрируют сцены, перерендеренные с разных ракурсов — воин снизу-справа, подводная сцена справа-дальше, автомобиль справа-ближе, и другие:
| Референс | Сгенерировано (промпт: right, lower, closer) |
|---|---|
| Пример 1: Воин | Пример 2: Под водой |
| Пример 3: Автомобиль | Пример 4: Ролики |
Полную демонстрацию смотрите на странице модели на Hugging Face.
Как это работает
В отличие от традиционных методов управления камерой, требующих карт глубины или 3D-геометрии, CrossView использует подход In-Context LoRA (IC-LoRA). Эталонное видео подаётся через механизм внимания модели, а дискретный словарь промптов указывает, куда переместить виртуальную камеру.
Словарь промптов
Модель использует фиксированный дискретный словарь — каждый промпт должен начинаться с триггера crossview. и следовать шаблону:
crossview. new camera angle: {azimuth}, {elevation}, {distance}.| Ось | Допустимые фразы |
|---|---|
| Азимут (вращение вокруг объекта) | same angle · slightly to the left · slightly to the right · to the left · to the right · far to the left · far to the right |
| Высота (высота камеры) | lower · same height · higher |
| Расстояние (до объекта) | closer · same distance · further |
Примеры промптов:
crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.Советы по использованию
- Лучше использовать маленькие шаги: для больших изменений ракурса делайте несколько последовательных небольших сдвигов; подавайте сгенерированное изображение как новый референс и применяйте следующий маленький угол
- Сила LoRA на дистиллированных моделях: LoRA обучена на полной (недистиллированной) версии LTX-2.3. На дистиллированных малопроходных рабочих процессах попробуйте силу LoRA 1.2–1.5 или запускайте на первом недистиллированном проходе
- Используйте точные фразы из словаря — модель выучила именно этот словарь; синонимы вроде «45 градусов влево» работают хуже
Детали обучения
| Параметр | Значение |
|---|---|
| Базовая модель | LTX-Video 2.3 (22B) |
| Фреймворк обучения | ltx-trainer (Lightricks) |
| Ранг LoRA / alpha | 16 / 16 |
| Целевые модули | attn1, attn2 (to_k/q/v/out) — только attention |
| Обучающий датасет | 294 подобранные пары камер из SynCamVideo |
| Разрешение | 768×768×81 @ 15fps |
| Лицензия | Apache 2.0 |
Доступность
LoRA распространяется под лицензией Apache 2.0 на Hugging Face:
Модель: Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
Пример рабочего процесса: ComfyUI Workflows
Базовая модель: Lightricks/LTX-2.3