Stability AI выпускает Stable Virtual Camera: технология для преобразования 2D фотографий в 3D видео

Stability AI недавно запустила новую ИИ-модель под названием Stable Virtual Camera, технологию, способную конвертировать обычные 2D изображения в 3D видео с реалистичными эффектами глубины и перспективы, не требуя сложной реконструкции сцены или специализированных навыков.

Технические особенности и возможности

Stable Virtual Camera - это многовидовая диффузионная модель, которая сочетает контрольные возможности традиционных виртуальных камер с творческой силой генеративного ИИ. Ключевые особенности модели включают:

• Гибкие опции ввода: Может генерировать 3D видео из одного изображения или нескольких изображений (поддерживает до 32 изображений)
• Разнообразные пути камеры: Поддерживает 14 динамических путей камеры, включая 360° вращение, спираль, dolly zoom и другие
• Пользовательский контроль точки зрения: Пользователи могут указывать углы камеры для генерации новых перспектив сцены
• Поддержка множественных соотношений сторон: Способна производить видео в квадратном (1:1), портретном (9:16) и ландшафтном (16:9) форматах
• Генерация длинных видео: Может генерировать видео до 1000 кадров при сохранении 3D согласованности

По сравнению с традиционными 3D видео-моделями, Stable Virtual Camera не требует многочисленных входных изображений или сложных шагов предобработки, делая создание 3D контента проще и более доступным. Эта технология показала отличную производительность в тестах Novel View Synthesis (NVS), превзойдя несколько существующих моделей.

Сценарии применения

Эта технология имеет потенциальные применения в различных областях:

• Кинопроизводство: Предоставление кинематографистам и аниматорам более экономически эффективных инструментов визуальных эффектов
• Виртуальная реальность: Быстрая генерация интерактивных 3D сцен для продвижения VR-опыта
• Создание контента: Предоставление обычным пользователям возможности создавать иммерсивный видео-контент
• Реклама и маркетинг: Предложение брендам новых форм визуальной презентации

Текущие ограничения

Несмотря на впечатляющую производительность Stable Virtual Camera, Stability AI признает, что технология имеет ограничения в определенных сценариях:

• Изображения, содержащие людей, животных или динамические текстуры (как вода), могут привести к снижению качества вывода
• Сильно размытые сцены и объекты неправильной формы могут производить мерцающие артефакты
• Проблемы качества могут возникнуть, когда целевые точки зрения значительно отличаются от входных изображений

Открытый доступ

Примечательно, что Stability AI выпустила эту технологию с открытым исходным кодом, сделав ее доступной через следующие каналы:

• Репозиторий кода: GitHub
• Модель: HuggingFace
• Онлайн демо: Доступно через HuggingFace Spaces

Связанные ссылки

Для получения дополнительной информации о Stable Virtual Camera вы можете посетить эти ресурсы:

• Официальный блог Stability AI
• Веб-сайт проекта Stable Virtual Camera

Выпуск Stable Virtual Camera представляет еще одно значительное достижение Stability AI в области генеративного ИИ, дальнейшее расширение границ применения ИИ в визуальном творчестве после их популярной модели генерации изображений Stable Diffusion.