Kuaishou Presenta CineMaster: Un Avance en la Generación de Videos con Percepción 3D

Kuaishou ha presentado recientemente CineMaster, un innovador marco de generación de video a partir de texto, marcando un hito significativo en la creación de videos. Este marco cuenta con potentes capacidades de percepción 3D y es considerado como la versión de video de ControlNet, ofreciendo a los creadores un control preciso sin precedentes sobre los elementos del video, incluyendo posición, trayectorias de movimiento y diseños espaciales 3D.

Innovaciones Técnicas en CineMaster

CineMaster emplea un diseño innovador de marco de dos etapas:

Características Destacadas del Marco CineMaster

La fortaleza principal de CineMaster radica en su alta controlabilidad sobre la generación de video. Los usuarios no solo pueden crear contenido de video totalmente controlable, sino también extraer información 3D de los videos para creación secundaria y edición, permitiendo la transferencia de estilos. Esto convierte a CineMaster en una potente herramienta creativa que permite a los usuarios colocar objetos con precisión y ajustar con flexibilidad los ángulos de la cámara en el espacio 3D.

Control Preciso del Movimiento de Objetos y Cámara

CineMaster permite a los creadores controlar con precisión las posiciones de los objetos y las trayectorias de la cámara a través de múltiples señales de control. Esto significa que los usuarios pueden generar escenas dinámicas e incorporar elementos 3D complejos, ofreciendo una libertad creativa sin precedentes en la producción de video.

Flujo de Trabajo de Dos Etapas de CineMaster

CineMaster opera en dos etapas:

Flujo de Trabajo Interactivo: Los usuarios construyen intuitivamente señales de control posicionando cajas delimitadoras de objetos y definiendo movimientos de cámara en el espacio 3D. Esta etapa proporciona un entorno intuitivo y fácil de usar con percepción 3D.
Generación de Señales de Control: Las señales de control generadas en la primera etapa (incluyendo mapas de profundidad, trayectorias de cámara y etiquetas de categoría de objetos) se introducen en el modelo de difusión texto-a-video para guiar la generación de contenido de video que cumpla con los requisitos del usuario.

Pipeline de Anotación de Datos

Para superar la escasez de datos de anotación de cajas 3D y poses de cámara, Kuaishou construyó un pipeline automatizado de anotación de datos para extraer cajas delimitadoras 3D y trayectorias de cámara a partir de datos de video a gran escala. Este pipeline incluye los siguientes pasos:

Segmentación de Instancias: Extracción de resultados de segmentación de instancias del primer plano del video.
Estimación de Profundidad: Generación de mapas de profundidad métricos utilizando DepthAnything V2.
Cálculo de Nube de Puntos 3D y Cajas: Cálculo de nubes de puntos 3D para cada entidad mediante proyección inversa y cálculo de cajas delimitadoras 3D utilizando el método de volumen mínimo.
Seguimiento de Entidades y Ajuste de Cajas 3D: Cálculo de cajas delimitadoras 3D por fotograma mediante seguimiento de puntos y proyección de toda la escena 3D sobre mapas de profundidad.

Rendimiento que Supera los Métodos Existentes

CineMaster demuestra un excelente rendimiento en amplios experimentos cualitativos y cuantitativos, superando significativamente los métodos existentes, particularmente en tres escenarios: objetos en movimiento con cámaras estáticas, objetos estáticos con cámaras en movimiento, y objetos en movimiento con cámaras en movimiento. CineMaster muestra capacidades de control superiores al generar con flexibilidad diversas escenas complejas según los requisitos del usuario.

Arquitectura Técnica e Innovación

El marco de CineMaster adopta de manera innovadora un ControlNet de Diseño Semántico. Esta arquitectura incluye un Inyector Semántico y un ControlNet basado en DiT. El Inyector Semántico fusiona diseños espaciales 3D y etiquetas de categoría para proporcionar las señales de control necesarias. El ControlNet basado en DiT procesa aún más estas características y mejora las capacidades de representación del modelo. Además, el Adaptador de Cámara inyecta trayectorias de cámara, permitiendo el control conjunto del movimiento de objetos y cámara.

CineMaster proporciona a los creadores una plataforma de generación de video altamente flexible y controlable, aportando una libertad creativa 3D sin precedentes. A medida que la tecnología continúa iterando y optimizándose, CineMaster está preparado para liderar nuevas tendencias en la creación y edición de video, ofreciendo a los usuarios una experiencia creativa más rica y refinada.

Estado del Proyecto Open Source

Aún no hay contenido de código abierto disponible

Enlaces de CineMaster

Página del Proyecto: https://cinemaster-dev.github.io/ Artículo: https://arxiv.org/pdf/2502.08639