CrossView IC-LoRA: Cambia los puntos de vista de la cámara en videos de LTX-2.3 con control mediante prompts
Cseti lanza una prueba de concepto de IC-LoRA para LTX-2.3 que actúa como una segunda cámara virtual, permitiendo cambiar el ángulo de cámara de un video existente usando un vocabulario discreto de prompts.
Cseti ha lanzado CrossView IC-LoRA, un adaptador de prueba de concepto para LTX-Video 2.3 que actúa como una segunda cámara virtual. Dale un video de referencia y un prompt con el ángulo de cámara, y re-renderiza la misma escena desde el nuevo punto de vista solicitado, manteniendo el sujeto y el contenido mientras cambia la posición de la cámara.
El LoRA está entrenado en datos sintéticos multivista (dataset SynCamVideo renderizado en Unreal Engine 5), pero se generaliza a metraje real con resultados impresionantes. Como prueba de concepto v0.9, tiene límites claros, pero ya produce resultados "bastante buenos" según las primeras pruebas de la comunidad.
Ejemplos de resultados de la página del modelo muestran escenas re-renderizadas desde diferentes ángulos: una figura de guerrero desde abajo a la derecha, una escena submarina desde la derecha más lejos, un auto desde la derecha más cerca, y más:
| Referencia | Generado (prompt: right, lower, closer) |
|---|---|
| Ejemplo 1: Guerrero | Ejemplo 2: Submarino |
| Ejemplo 3: Auto | Ejemplo 4: Patines |
Ve el montaje completo de demostración en la página del modelo en Hugging Face.
Cómo funciona
A diferencia de los métodos tradicionales de control de cámara que requieren mapas de profundidad o geometría 3D, CrossView utiliza un enfoque de In-Context LoRA (IC-LoRA). El video de referencia se condiciona a través del mecanismo de atención del modelo, y un vocabulario discreto de prompts le indica al modelo dónde mover la cámara virtual.
Vocabulario de prompts
El modelo usa un vocabulario de cámara fijo y discreto: cada prompt debe comenzar con el disparador crossview. seguido de la plantilla:
crossview. new camera angle: {azimuth}, {elevation}, {distance}.| Eje | Frases permitidas |
|---|---|
| Azimut (órbita alrededor del sujeto) | same angle · slightly to the left · slightly to the right · to the left · to the right · far to the left · far to the right |
| Elevación (altura de la cámara) | lower · same height · higher |
| Distancia (al sujeto) | closer · same distance · further |
Ejemplos de prompts:
crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.Consejos de uso
- Los pasos pequeños funcionan mejor: Para cambios grandes de punto de vista, encadena varios cambios de ángulo pequeños: usa la vista generada como nueva referencia y aplica otro ángulo pequeño
- Fuerza del LoRA en modelos destilados: El LoRA fue entrenado en LTX-2.3 completo (no destilado). En flujos de trabajo destilados de pocos pasos, prueba una fuerza de LoRA de 1.2–1.5 o ejecútalo en la primera pasada no destilada
- Usa las frases exactas del vocabulario: el modelo aprendió este vocabulario específico; sinónimos como "45 grados a la izquierda" funcionan con menos fiabilidad
Detalles de entrenamiento
| Parámetro | Valor |
|---|---|
| Modelo base | LTX-Video 2.3 (22B) |
| Framework de entrenamiento | ltx-trainer (Lightricks) |
| Rango / alpha de LoRA | 16 / 16 |
| Módulos objetivo | attn1, attn2 (to_k/q/v/out) — solo atención |
| Dataset de entrenamiento | 294 pares de cámara curados de SynCamVideo |
| Resolución | 768×768×81 @ 15fps |
| Licencia | Apache 2.0 |
Disponibilidad
El LoRA está disponible bajo la licencia Apache 2.0 en Hugging Face:
Modelo: Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
Flujo de trabajo de ejemplo: ComfyUI Workflows
Modelo base: Lightricks/LTX-2.3