LTX 2.3 CrossView Prompt IC-LoRA: Виртуальное управление камерой для генерации видео

Новая обученная сообществом In-Context LoRA (IC-LoRA) для LTX-Video 2.3 привносит виртуальное управление камерой в AI-генерацию видео. Созданная разработчиком из сообщества Cseti, CrossView Prompt IC-LoRA работает как «виртуальная вторая камера»: она принимает эталонное видео и короткую подсказку с углом камеры, а затем перерендеривает ту же сцену с запрошенного нового ракурса.

Как это работает

LoRA использует фиксированный дискретный словарь подсказок, основанный на трех осях камеры:

• Азимут: орбита вокруг объекта (тот же угол, немного левее/правее, левее/правее, далеко левее/правее).
• Высота: высота камеры (ниже, та же высота, выше).
• Дистанция: близость к объекту (ближе, то же расстояние, дальше).

Каждая подсказка должна начинаться с триггерного слова crossview. с последующим шаблоном:

crossview. new camera angle: to the right, lower, closer.

Это дает доступ к 63 допустимым комбинациям углов камеры, что позволяет выполнять точные сдвиги ракурса за один шаг.

Примеры результатов

LoRA создает попарные сравнения, показывающие исходное эталонное видео (сверху) рядом с сгенерированным новым ракурсом (снизу). Примеры выходных видео демонстрируют сдвиги камеры, включая:

• Перемещение камеры вправо, ниже и ближе к объекту.
• Сдвиг влево, выше и дальше.
• Изменение высоты с верхней на нижнюю относительно объекта.

Интеграция с ComfyUI

LoRA разработана для воркфлоу IC-LoRA video-to-video в ComfyUI. Использование простое:

1. Загрузите LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors как LoRA в ComfyUI.
2. Укажите эталонное видео (сцену, которую хотите переснять).
3. Напишите подсказку с углом камеры, используя фиксированный словарь.
4. Генерируйте.

Пример воркфлоу доступен на странице сопутствующего датасета.

Советы для лучших результатов

• Небольшие изменения угла работают лучше всего: модель наиболее надежна при одношаговых сдвигах. Для более крупного изменения ракурса объедините несколько маленьких шагов: подайте сгенерированный вид обратно как новое эталонное видео и примените еще один небольшой угол.
• Пользователи дистиллированных моделей: в воркфлоу с малым количеством шагов для дистиллированных моделей попробуйте более высокую силу LoRA (1.2–1.5) или запустите ее на первом недистиллированном проходе.
• Модель обучалась на LTX-Video 2.3 (полная, недистиллированная) с 294 синтетическими парами камер из датасета KlingTeam SynCamVideo.

Детали обучения

Загрузка

LoRA доступна на Hugging Face под лицензией Apache 2.0:

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt