SCoPE: управление камерой для генерации видео Wan2.2

ComfyUI Wikinews

Tencent ARC выпускает SCoPE, добавляющий позиционное кодирование на основе координат линии взгляда в Wan2.2-I2V-A14B, чтобы видео следовало траектории камеры.

SCoPE (HuggingFace | GitHub | Страница проекта) представляет собой исследовательский релиз Tencent ARC, который добавляет управление траекторией камеры в видео-диффузионный трансформер Wan2.2-I2V-A14B, кодируя луч камеры каждого видео-токена как позиционную координату.

Обзор

SCoPE (Sightline-Coordinate Positional Encoding, позиционное кодирование на основе координат линии взгляда) рассматривает луч камеры каждого видео-токена как вторую позиционную координату: это свойство системы координат, а не дополнительный модуль управления. Получая на вход первый кадр, текстовый промпт и траекторию камеры, модель генерирует видео, которое следует заданному движению камеры, сохраняя исходные возможности image-to-video.

Тизер SCoPE

Обзор SCoPE: траектории камеры управляют сгенерированным видео (источник: карточка модели)

Доработка сохраняет RoPE побитово точным, начинается с неизменного предобученного DiT и добавляет менее 0,1% новых параметров. Схема Normalize-Gate-Inject (нормализация, гейт, инъекция) делает кодирование обучаемым как для метрических источников поз, так и для источников с точностью до масштаба, поэтому SCoPE может использовать позы из различных пайплайнов реконструкции.

Как это работает

  • Движение камеры как координаты. Каждый видео-токен привязан к своему лучу камеры через координаты Плюккера; отдельная ветвь управления не обучается.
  • Устойчивость к разнородным источникам поз. Нормализация по ближней глубине в каждом клипе плюс обучаемый гейт масштаба позволяют SCoPE использовать позы из различных пайплайнов реконструкции и сцен разных масштабов.
  • Автономный релиз. Репозиторий модели включает всё необходимое для вывода: пользователям не нужно скачивать второй чекпойнт Wan2.2 (всего около 67 ГБ).
Демо управления камерой SCoPE

Пример вывода: туманная лесная сцена, снятая по траектории камеры truck_right с движением вправо (источник: GitHub)

Демонстрационное видео

Демонстрационный ролик SCoPE с наложением фрустумов камеры (видео из официальной галереи)

Доступность

SCoPE представляет собой исследовательский релиз с собственным пайплайном вывода: нативной поддержки ComfyUI пока нет. Требуются Python 3.11, GPU с поддержкой CUDA и окружение с закреплённой версией PyTorch 2.9.1 (CUDA 12.8):

git clone https://github.com/TencentARC/SCoPE.git
cd SCoPE
uv sync
source .venv/bin/activate
python inference.py \
  --model_path checkpoints/SCoPE \
  --case omni-m

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
SCoPE: управление камерой для генерации видео Wan2.2 | ComfyUI Wiki