CrossView IC-LoRA : Changez le point de vue de la caméra dans une vidéo LTX-2.3 avec un contrôle par prompt

Cseti a publié CrossView IC-LoRA, un adaptateur de preuve de concept pour LTX-Video 2.3 qui agit comme une deuxième caméra virtuelle. Donnez-lui une vidéo de référence et un prompt d'angle de caméra, et il rend la même scène depuis le nouveau point de vue demandé — en conservant le sujet et le contenu tout en changeant la position de la caméra.

Le LoRA est entraîné sur des données multi-vues synthétiques (dataset SynCamVideo rendu dans Unreal Engine 5), mais il généralise sur des séquences réelles avec des résultats impressionnants. En tant que preuve de concept v0.9, il a des limites claires mais produit déjà des résultats « assez bons » selon les premiers tests de la communauté.

Les exemples de résultats sur la page du modèle montrent des scènes rendues depuis différents angles — une figure de guerrier depuis le bas-droite, une scène sous-marine depuis la droite-éloignée, une voiture depuis la droite-approchée, et plus :

Voir le montage complet des démonstrations sur la page du modèle Hugging Face.

Comment ça fonctionne

Contrairement aux méthodes traditionnelles de contrôle de caméra qui nécessitent des cartes de profondeur ou une géométrie 3D, CrossView utilise une approche In-Context LoRA (IC-LoRA). La vidéo de référence est conditionnée via le mécanisme d'attention du modèle, et un vocabulaire de prompt discret indique au modèle où déplacer la caméra virtuelle.

Vocabulaire du prompt

Le modèle utilise un vocabulaire de caméra discret et fixe — chaque prompt doit commencer par le déclencheur crossview. suivi du modèle :

crossview. new camera angle: {azimuth}, {elevation}, {distance}.

Exemples de prompts :

crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.

Conseils d'utilisation

• Les petits pas sont les plus efficaces : Pour de grands changements de point de vue, enchaînez plusieurs petits changements d'angle — réinjectez la vue générée comme nouvelle référence et appliquez un autre petit angle
• Force du LoRA sur les modèles distillés : Le LoRA a été entraîné sur la version complète (non distillée) de LTX-2.3. Sur les workflows distillés à peu d'étapes, essayez une force de LoRA de 1,2 à 1,5 ou exécutez-le lors du premier passage non distillé
• Utilisez les expressions exactes du vocabulaire — le modèle a appris ce vocabulaire spécifique ; des synonymes comme « 45 degrés à gauche » fonctionnent moins bien

Détails de l'entraînement

Disponibilité

Le LoRA est disponible sous licence Apache 2.0 sur Hugging Face :

Modèle : Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
Workflow d'exemple : ComfyUI Workflows
Modèle de base : Lightricks/LTX-2.3