SCoPE : Contrôle de caméra pour la génération vidéo Wan2.2

Vue d'ensemble

SCoPE (Sightline-Coordinate Positional Encoding) traite le rayon de caméra de chaque token vidéo comme une seconde coordonnée positionnelle, une propriété du système de coordonnées plutôt qu'un module de contrôle ajouté. À partir d'une première image, d'un prompt textuel et d'une trajectoire de caméra, SCoPE génère une vidéo qui suit le mouvement de caméra demandé tout en préservant le prior image-vers-vidéo d'origine.

Vue d'ensemble de SCoPE : les trajectoires de caméra pilotent la vidéo générée (source : carte du modèle)

Cette modification conserve RoPE bit-exact, part du DiT pré-entraîné inchangé et ajoute moins de 0,1 % de nouveaux paramètres. Un schéma Normalize-Gate-Inject rend l'encodage entraînable sur des sources de poses à la fois métriques et up-to-scale, ce qui permet à SCoPE de consommer des poses provenant de différents pipelines de reconstruction.

Fonctionnement

• Mouvement de caméra comme coordonnées. Chaque token vidéo est lié à son rayon de caméra via les coordonnées de Plücker ; aucune branche de contrôle séparée n'est entraînée.
• Robuste face aux sources de poses hétérogènes. La normalisation de la profondeur proche par clip ainsi qu'une porte d'échelle apprise permettent à SCoPE de consommer des poses provenant de différents pipelines de reconstruction et échelles de scène.
• Publication autonome. Le référentiel du modèle regroupe tout le nécessaire pour l'inférence ; les utilisateurs n'ont pas besoin de télécharger un second checkpoint Wan2.2 (environ 67 Go au total).

Exemple de sortie : une scène de forêt brumeuse suivant une trajectoire de caméra truck-right, soit un travelling vers la droite (source : GitHub)

Vidéo de démonstration

Démo d'ensemble de SCoPE avec superpositions de frustum de caméra (vidéo issue de la galerie officielle)

Disponibilité

SCoPE est une publication de recherche dotée de son propre pipeline d'inférence ; il n'existe pas encore de support natif ComfyUI. SCoPE nécessite Python 3.11, un GPU compatible CUDA et l'environnement PyTorch 2.9.1 épinglé (CUDA 12.8) :

git clone https://github.com/TencentARC/SCoPE.git
cd SCoPE
uv sync
source .venv/bin/activate

python inference.py \
  --model_path checkpoints/SCoPE \
  --case omni-misty-forest \
  --trajectory truck_right \
  --output_path outputs/omni-misty-forest.mp4

Les poses de caméra utilisent les coordonnées caméra-vers-monde d'OpenCV avec une forme [81, 3, 4] ou [81, 4, 4] ; x_fov est le champ de vision horizontal en radians. SCoPE a été entraîné sur RealEstate10K, DL3DV, PanShot et OmniWorld.

Détails clés

Liens

• Référentiel HuggingFace
• GitHub
• Page du projet
• arXiv
• Dataset de la galerie