Skip to content
ComfyUI Wiki•
Помогите создать лучшую базу знаний ComfyUI Стать спонсором
НовостиTencent открывает исходный код StereoCrafter: однокликовое преобразование 2D в 3D видео

Black Forest Labs выпускает открытую версию FLUX.1 Krea [dev] с нативной поддержкой ComfyUI

31.07.2025

Tencent открывает исходный код StereoCrafter: однокликовое преобразование 2D в 3D видео

StereoCrafter, совместно разработанный Tencent AI Lab и ARC Lab, был официально открыт для использования. Эта инновационная платформа обработки видео может преобразовывать обычные 2D видео в высококачественные стереоскопические 3D видео, предоставляя создателям контента и разработчикам мощный инструмент. Проект, завершенный исследователями, включая Sijie Zhao, Wenbo Hu и Xiaodong Cun, демонстрирует техническое мастерство Tencent в обработке видео и ИИ.

Ключевые особенности

Эффекты модели StereoCrafter

  • Поддержка множественных форматов: Генерирует анаглифные 3D, VR формат или стереоскопические видео бок о бок для различных сценариев
  • Широкая совместимость: Поддерживает множество 3D устройств отображения, включая 3D очки, Apple Vision Pro и 3D дисплеи
  • Богатые сценарии применения: Подходит для фильмов, влогов, 3D анимации и ИИ-генерированных видео
  • Высококачественный вывод: Основан на диффузионных моделях, способен генерировать долгосрочные, высокоточные стереоскопические эффекты
  • Автоматическая обработка: Обрабатывает входные видео различной длины и разрешения
  • Предварительный просмотр в реальном времени: Поддерживает предварительный просмотр эффектов для обеспечения качества вывода

Технические инновации

StereoCrafter использует инновационную платформу на основе диффузионных моделей, весь процесс состоит из двух основных этапов:

Этап первый: Оценка глубины и слоирование видео

  1. Оценка информации о глубине видео из моноскопических видео
  2. Обработка через технологию слоирования видео на основе глубины
  3. Генерация начальных искаженных видео и масок окклюзии

Этап второй: Восстановление стереоскопического видео

  1. Обучение специализированных моделей восстановления стереоскопического видео
  2. Заполнение областей отверстий на основе масок окклюзии
  3. Генерация финальных высококачественных стереоскопических видео

Этот подход не только поддерживает качество видео, но также обеспечивает естественные и плавные 3D эффекты. Исследовательская команда также разработала сложные конвейеры обработки данных для реконструкции крупномасштабных, высококачественных наборов данных для обучения.

Практические применения

StereoCrafter имеет широкий спектр применений:

  1. Кинопроизводство

    • Преобразование классических 2D фильмов в 3D
    • Улучшение пост-продакшена видео
    • Преобразование в 3D в реальном времени для прямой трансляции

  2. Создание контента

    • Создание 3D эффектов для влогов и коротких видео
    • Создание 3D контента для YouTube
    • 3D преобразование игровых кадров

  3. Виртуальная реальность

    • Адаптация контента для VR устройств
    • Оптимизация видео для Apple Vision Pro
    • Создание контента для метавселенной

  4. Образование и обучение

    • Производство 3D образовательных видео
    • Виртуальные учебные материалы
    • Визуализация медицинских изображений

Технические характеристики

  • Поддержка ввода: Совместим с различными распространенными форматами видео
  • Разрешение: Поддерживает обработку видео до 4K
  • Продолжительность обработки: Может обрабатывать видео любой длины
  • Форматы вывода:
    • 3D бок о бок
    • Анаглифный 3D
    • Специфичный формат Vision Pro
    • Универсальный формат VR устройств

Доступ к открытому исходному коду

StereoCrafter теперь открыт для использования на платформе Hugging Face, доступен через:

Перспективы на будущее

Выпуск этого проекта с открытым исходным кодом приносит новые возможности для создания 3D контента и иммерсивных впечатлений. С популяризацией устройств VR/AR следующего поколения, таких как Apple Vision Pro, инструменты типа StereoCrafter будут играть решающую роль в развитии экосистемы контента. Команда проекта планирует продолжить оптимизацию производительности модели, добавление большего количества функций и исследование дополнительных сценариев применения.

Ссылки