LTX 2.3 CrossView Prompt IC-LoRA: Control de cámara virtual para generación de video
Cseti publica un nuevo IC-LoRA para LTX-Video 2.3 que actúa como una segunda cámara virtual, permitiendo a los usuarios re-renderizar escenas de video desde nuevos ángulos de cámara usando simples indicaciones de texto.
Un nuevo IC-LoRA entrenado por la comunidad para LTX-Video 2.3 trae control de cámara virtual a la generación de video con IA. Creado por el desarrollador comunitario Cseti, el CrossView Prompt IC-LoRA actúa como una "segunda cámara virtual": toma un video de referencia y una indicación breve del ángulo de cámara, luego re-renderiza la misma escena desde el nuevo punto de vista solicitado.
Cómo funciona
El LoRA utiliza un vocabulario fijo y discreto de indicaciones basado en tres ejes de cámara:
- Acimut — órbita alrededor del sujeto (mismo ángulo, ligeramente a la izquierda/derecha, a la izquierda/derecha, muy a la izquierda/derecha)
- Elevación — altura de la cámara (más baja, misma altura, más alta)
- Distancia — proximidad al sujeto (más cerca, misma distancia, más lejos)
Cada indicación debe comenzar con la palabra desencadenante crossview. seguida de la plantilla:
crossview. new camera angle: to the right, lower, closer.Esto proporciona acceso a 63 combinaciones válidas de ángulos de cámara, permitiendo cambios de perspectiva precisos en un solo paso.
Ejemplos de resultados
El LoRA produce comparaciones lado a lado que muestran el video de referencia original (arriba) junto con la nueva vista de cámara generada (abajo). Los videos de ejemplo de salida demuestran cambios de cámara como:
- Mover la cámara a la derecha, más abajo y más cerca del sujeto
- Desplazarse a la izquierda, más arriba y más lejos
- Cambiar la elevación de arriba a abajo del sujeto
Integración con ComfyUI
El LoRA está diseñado para flujos de trabajo IC-LoRA de video a video en ComfyUI. Su uso es sencillo:
- Cargar
LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensorscomo un LoRA en ComfyUI - Proporcionar un video de referencia (la escena que se quiere re-grabar)
- Escribir una indicación del ángulo de cámara usando el vocabulario fijo
- Generar
Hay un flujo de trabajo de ejemplo disponible en la página del conjunto de datos complementario.
Consejos para mejores resultados
- Los cambios de ángulo pequeños funcionan mejor — el modelo es más fiable en cambios de un solo paso. Para un cambio de punto de vista mayor, encadena varios pasos pequeños: vuelve a alimentar la vista generada como nueva referencia y aplica otro ángulo pequeño.
- Usuarios de modelos destilados — en flujos de trabajo destilados de pocos pasos, prueba una fuerza de LoRA más alta (1.2–1.5) o ejecútalo en la primera pasada no destilada.
- El modelo fue entrenado en LTX-Video 2.3 (completo, no destilado) con 294 pares sintéticos de cámara del conjunto de datos KlingTeam SynCamVideo.
Detalles del entrenamiento
| Parámetro | Valor |
|---|---|
| Modelo base | LTX-Video 2.3 (22B) |
| Marco de entrenamiento | ltx-trainer (Lightricks) |
| Rango / alpha de LoRA | 16 / 16 |
| Módulos objetivo | attn1, attn2 (to_k/q/v/out) — solo atención |
| Conjunto de datos de entrenamiento | 294 pares sintéticos multi-vista (SynCamVideo, Apache-2.0) |
| Resolución | 768×768×81 @ 15fps |
Descarga
El LoRA está disponible en Hugging Face bajo la licencia Apache 2.0: