SCoPE: управление камерой для генерации видео Wan2.2

Обзор

SCoPE (Sightline-Coordinate Positional Encoding, позиционное кодирование на основе координат линии взгляда) рассматривает луч камеры каждого видео-токена как вторую позиционную координату: это свойство системы координат, а не дополнительный модуль управления. Получая на вход первый кадр, текстовый промпт и траекторию камеры, модель генерирует видео, которое следует заданному движению камеры, сохраняя исходные возможности image-to-video.

Обзор SCoPE: траектории камеры управляют сгенерированным видео (источник: карточка модели)

Доработка сохраняет RoPE побитово точным, начинается с неизменного предобученного DiT и добавляет менее 0,1% новых параметров. Схема Normalize-Gate-Inject (нормализация, гейт, инъекция) делает кодирование обучаемым как для метрических источников поз, так и для источников с точностью до масштаба, поэтому SCoPE может использовать позы из различных пайплайнов реконструкции.

Как это работает

• Движение камеры как координаты. Каждый видео-токен привязан к своему лучу камеры через координаты Плюккера; отдельная ветвь управления не обучается.
• Устойчивость к разнородным источникам поз. Нормализация по ближней глубине в каждом клипе плюс обучаемый гейт масштаба позволяют SCoPE использовать позы из различных пайплайнов реконструкции и сцен разных масштабов.
• Автономный релиз. Репозиторий модели включает всё необходимое для вывода: пользователям не нужно скачивать второй чекпойнт Wan2.2 (всего около 67 ГБ).

Пример вывода: туманная лесная сцена, снятая по траектории камеры truck_right с движением вправо (источник: GitHub)

Демонстрационное видео

Демонстрационный ролик SCoPE с наложением фрустумов камеры (видео из официальной галереи)

Доступность

SCoPE представляет собой исследовательский релиз с собственным пайплайном вывода: нативной поддержки ComfyUI пока нет. Требуются Python 3.11, GPU с поддержкой CUDA и окружение с закреплённой версией PyTorch 2.9.1 (CUDA 12.8):

git clone https://github.com/TencentARC/SCoPE.git
cd SCoPE
uv sync
source .venv/bin/activate

python inference.py \
  --model_path checkpoints/SCoPE \
  --case omni-misty-forest \
  --trajectory truck_right \
  --output_path outputs/omni-misty-forest.mp4

Позы камеры задаются в координатах OpenCV camera-to-world с формой [81, 3, 4] или [81, 4, 4]; x_fov — это горизонтальный угол обзора в радианах. Обучение проводилось на RealEstate10K, DL3DV, PanShot и OmniWorld.

Детали

Ссылки

• Репозиторий на HuggingFace
• GitHub
• Страница проекта
• arXiv
• Датасет галереи