Tencent открывает исходный код StereoCrafter: однокликовое преобразование 2D в 3D видео
StereoCrafter, совместно разработанный Tencent AI Lab и ARC Lab, был официально открыт для использования. Эта инновационная платформа обработки видео может преобразовывать обычные 2D видео в высококачественные стереоскопические 3D видео, предоставляя создателям контента и разработчикам мощный инструмент. Проект, завершенный исследователями, включая Sijie Zhao, Wenbo Hu и Xiaodong Cun, демонстрирует техническое мастерство Tencent в обработке видео и ИИ.
Ключевые особенности
- Поддержка множественных форматов: Генерирует анаглифные 3D, VR формат или стереоскопические видео бок о бок для различных сценариев
- Широкая совместимость: Поддерживает множество 3D устройств отображения, включая 3D очки, Apple Vision Pro и 3D дисплеи
- Богатые сценарии применения: Подходит для фильмов, влогов, 3D анимации и ИИ-генерированных видео
- Высококачественный вывод: Основан на диффузионных моделях, способен генерировать долгосрочные, высокоточные стереоскопические эффекты
- Автоматическая обработка: Обрабатывает входные видео различной длины и разрешения
- Предварительный просмотр в реальном времени: Поддерживает предварительный просмотр эффектов для обеспечения качества вывода
Технические инновации
StereoCrafter использует инновационную платформу на основе диффузионных моделей, весь процесс состоит из двух основных этапов:
Этап первый: Оценка глубины и слоирование видео
- Оценка информации о глубине видео из моноскопических видео
- Обработка через технологию слоирования видео на основе глубины
- Генерация начальных искаженных видео и масок окклюзии
Этап второй: Восстановление стереоскопического видео
- Обучение специализированных моделей восстановления стереоскопического видео
- Заполнение областей отверстий на основе масок окклюзии
- Генерация финальных высококачественных стереоскопических видео
Этот подход не только поддерживает качество видео, но также обеспечивает естественные и плавные 3D эффекты. Исследовательская команда также разработала сложные конвейеры обработки данных для реконструкции крупномасштабных, высококачественных наборов данных для обучения.
Практические применения
StereoCrafter имеет широкий спектр применений:
-
Кинопроизводство
- Преобразование классических 2D фильмов в 3D
- Улучшение пост-продакшена видео
- Преобразование в 3D в реальном времени для прямой трансляции
-
Создание контента
- Создание 3D эффектов для влогов и коротких видео
- Создание 3D контента для YouTube
- 3D преобразование игровых кадров
-
Виртуальная реальность
- Адаптация контента для VR устройств
- Оптимизация видео для Apple Vision Pro
- Создание контента для метавселенной
-
Образование и обучение
- Производство 3D образовательных видео
- Виртуальные учебные материалы
- Визуализация медицинских изображений
Технические характеристики
- Поддержка ввода: Совместим с различными распространенными форматами видео
- Разрешение: Поддерживает обработку видео до 4K
- Продолжительность обработки: Может обрабатывать видео любой длины
- Форматы вывода:
- 3D бок о бок
- Анаглифный 3D
- Специфичный формат Vision Pro
- Универсальный формат VR устройств
Доступ к открытому исходному коду
StereoCrafter теперь открыт для использования на платформе Hugging Face, доступен через:
Перспективы на будущее
Выпуск этого проекта с открытым исходным кодом приносит новые возможности для создания 3D контента и иммерсивных впечатлений. С популяризацией устройств VR/AR следующего поколения, таких как Apple Vision Pro, инструменты типа StereoCrafter будут играть решающую роль в развитии экосистемы контента. Команда проекта планирует продолжить оптимизацию производительности модели, добавление большего количества функций и исследование дополнительных сценариев применения.
Ссылки
- Официальное демо-видео StereoCrafter
- Технический блог Tencent AI Lab
- Статья arXiv: StereoCrafter: Diffusion-based Generation of Long and High-fidelity Stereoscopic 3D from Monocular Videos