LTX 2.3 CrossView Prompt IC-LoRA: Control de cámara virtual para generación de video

news

Cseti publica un nuevo IC-LoRA para LTX-Video 2.3 que actúa como una segunda cámara virtual, permitiendo a los usuarios re-renderizar escenas de video desde nuevos ángulos de cámara usando simples indicaciones de texto.

Un nuevo IC-LoRA entrenado por la comunidad para LTX-Video 2.3 trae control de cámara virtual a la generación de video con IA. Creado por el desarrollador comunitario Cseti, el CrossView Prompt IC-LoRA actúa como una "segunda cámara virtual": toma un video de referencia y una indicación breve del ángulo de cámara, luego re-renderiza la misma escena desde el nuevo punto de vista solicitado.

Cómo funciona

El LoRA utiliza un vocabulario fijo y discreto de indicaciones basado en tres ejes de cámara:

  • Acimut — órbita alrededor del sujeto (mismo ángulo, ligeramente a la izquierda/derecha, a la izquierda/derecha, muy a la izquierda/derecha)
  • Elevación — altura de la cámara (más baja, misma altura, más alta)
  • Distancia — proximidad al sujeto (más cerca, misma distancia, más lejos)

Cada indicación debe comenzar con la palabra desencadenante crossview. seguida de la plantilla:

crossview. new camera angle: to the right, lower, closer.

Esto proporciona acceso a 63 combinaciones válidas de ángulos de cámara, permitiendo cambios de perspectiva precisos en un solo paso.

Ejemplos de resultados

El LoRA produce comparaciones lado a lado que muestran el video de referencia original (arriba) junto con la nueva vista de cámara generada (abajo). Los videos de ejemplo de salida demuestran cambios de cámara como:

  • Mover la cámara a la derecha, más abajo y más cerca del sujeto
  • Desplazarse a la izquierda, más arriba y más lejos
  • Cambiar la elevación de arriba a abajo del sujeto

Integración con ComfyUI

El LoRA está diseñado para flujos de trabajo IC-LoRA de video a video en ComfyUI. Su uso es sencillo:

  1. Cargar LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors como un LoRA en ComfyUI
  2. Proporcionar un video de referencia (la escena que se quiere re-grabar)
  3. Escribir una indicación del ángulo de cámara usando el vocabulario fijo
  4. Generar

Hay un flujo de trabajo de ejemplo disponible en la página del conjunto de datos complementario.

Consejos para mejores resultados

  • Los cambios de ángulo pequeños funcionan mejor — el modelo es más fiable en cambios de un solo paso. Para un cambio de punto de vista mayor, encadena varios pasos pequeños: vuelve a alimentar la vista generada como nueva referencia y aplica otro ángulo pequeño.
  • Usuarios de modelos destilados — en flujos de trabajo destilados de pocos pasos, prueba una fuerza de LoRA más alta (1.2–1.5) o ejecútalo en la primera pasada no destilada.
  • El modelo fue entrenado en LTX-Video 2.3 (completo, no destilado) con 294 pares sintéticos de cámara del conjunto de datos KlingTeam SynCamVideo.

Detalles del entrenamiento

ParámetroValor
Modelo baseLTX-Video 2.3 (22B)
Marco de entrenamientoltx-trainer (Lightricks)
Rango / alpha de LoRA16 / 16
Módulos objetivoattn1, attn2 (to_k/q/v/out) — solo atención
Conjunto de datos de entrenamiento294 pares sintéticos multi-vista (SynCamVideo, Apache-2.0)
Resolución768×768×81 @ 15fps

Descarga

El LoRA está disponible en Hugging Face bajo la licencia Apache 2.0:

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt

LTX 2.3 CrossView Prompt IC-LoRA: Control de cámara virtual para generación de video | ComfyUI Wiki