IC-LoRA CrossView Prompt pour LTX 2.3 : contrôle virtuel de la caméra pour la génération vidéo

Un nouvel In-Context LoRA (IC-LoRA) entraîné par la communauté pour LTX-Video 2.3 apporte un contrôle virtuel de la caméra à la génération vidéo par IA. Créé par le développeur communautaire Cseti, le CrossView Prompt IC-LoRA agit comme une « seconde caméra virtuelle » : il prend une vidéo de référence et une courte invite d'angle de caméra, puis re-rend la même scène depuis le nouveau point de vue demandé.

Fonctionnement

Le LoRA utilise un vocabulaire d'invites discret et fixe basé sur trois axes de caméra :

• Azimut — orbite autour du sujet (même angle, légèrement à gauche/droite, à gauche/droite, loin à gauche/droite)
• Élévation — hauteur de la caméra (plus bas, même hauteur, plus haut)
• Distance — proximité du sujet (plus proche, même distance, plus loin)

Chaque invite doit commencer par le mot déclencheur crossview. suivi du modèle :

crossview. new camera angle: to the right, lower, closer.

Cela donne accès à 63 combinaisons valides d'angles de caméra, permettant des changements de point de vue précis en une seule étape.

Exemples de résultats

Le LoRA produit des comparaisons côte à côte montrant la vidéo de référence originale (en haut) à côté de la nouvelle vue de caméra générée (en bas). Les vidéos de sortie illustrent des déplacements de caméra incluant :

• Déplacement de la caméra vers la droite, plus bas et plus près du sujet
• Décalage vers la gauche, plus haut et plus loin
• Changement d'élévation de dessus à dessous du sujet

Intégration dans ComfyUI

Le LoRA est conçu pour les workflows vidéo-à-vidéo IC-LoRA de ComfyUI. L'utilisation est simple :

1. Charger LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors en tant que LoRA dans ComfyUI
2. Fournir une vidéo de référence (la scène que vous souhaitez re-filmer)
3. Écrire une invite d'angle de caméra en utilisant le vocabulaire fixe
4. Générer

Un workflow exemple est disponible sur la page du jeu de données associé.

Conseils pour de meilleurs résultats

• Les petits changements d'angle fonctionnent le mieux : le modèle est le plus fiable pour des décalages en une seule étape. Pour un changement de point de vue plus important, enchaînez plusieurs petites étapes : reprenez la vue générée comme nouvelle référence et appliquez un autre petit angle.
• Utilisateurs de modèles distillés : sur les workflows distillés à peu d'étapes, essayez une force LoRA plus élevée (1,2–1,5) ou exécutez-le lors du premier passage non distillé.
• Le modèle a été entraîné sur LTX-Video 2.3 (complet, non distillé) avec 294 paires de caméras synthétiques provenant de l'ensemble de données KlingTeam SynCamVideo.

Détails d'entraînement

Téléchargement

Le LoRA est disponible sur Hugging Face sous licence Apache 2.0 :

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt