Kuaishou lanza la tecnología de reencuadre de video monocular ReCamMaster
Kuaishou Technology ha presentado recientemente una nueva tecnología de procesamiento de video llamada ReCamMaster, que permite controlar la perspectiva de la cámara y la trayectoria de movimiento, “regrabando” el material de video existente para generar nuevos efectos de perspectiva dinámica, sin necesidad de equipos de grabación adicionales o complicadas ediciones posteriores.
Características técnicas
ReCamMaster permite a los usuarios:
- Recrear videos con nuevas trayectorias de cámara a partir de una única fuente de video
- Ofrecer varios modos de movimiento de cámara preestablecidos, incluyendo panorámicas, inclinaciones, zooms y movimientos en arco
- Mantener la coherencia del contenido y las acciones en la escena del video
- Ser aplicable en diversos escenarios, como estabilización de video, reconstrucción 4D y aumento de datos
Escenarios de aplicación
Según la página del proyecto, ReCamMaster se puede aplicar en varios campos:
- Estabilización de video: Capaz de convertir videos temblorosos grabados a mano en imágenes estables y fluidas
- Conducción autónoma: Proporcionar aumento de datos para sistemas de conducción autónoma, creando datos de observación desde múltiples ángulos
- Visión robótica: Proporcionar datos de observación desde múltiples ángulos para robots de inteligencia artificial
- Creación de video: Ofrecer nuevas herramientas de edición y creación de video para creadores
Principios técnicos
ReCamMaster se basa en un modelo de difusión de texto a video preentrenado, que mediante un mecanismo de condiciones de video cuidadosamente diseñado, puede generar videos manteniendo el contenido original mientras se adapta a las nuevas trayectorias de cámara especificadas por el usuario. El equipo técnico también ha utilizado Unreal Engine 5 para construir un gran conjunto de datos de video sincronizado de múltiples cámaras para el entrenamiento, permitiendo que el modelo se adapte mejor a las características de grabación del mundo real.
Experiencia de uso
Kuaishou Technology está invitando a los usuarios a experimentar la tecnología ReCamMaster. Los usuarios pueden subir sus propios videos y elegir una de las diez trayectorias de cámara básicas a continuación:
- Panorámica a la derecha
- Panorámica a la izquierda
- Inclinación hacia arriba
- Inclinación hacia abajo
- Zoom (acercar)
- Alejar (alejar)
- Movimiento hacia arriba (con rotación)
- Movimiento hacia abajo (con rotación)
- Movimiento en arco hacia la izquierda (con rotación)
- Movimiento en arco hacia la derecha (con rotación)
Enlaces relacionados
Esta tecnología es similar a las recientes tecnologías de generación y edición de video, como TrajectoryCrafter, pero según los resultados mostrados, ReCamMaster parece ofrecer resultados de mayor calidad. Actualmente, esta tecnología no está completamente abierta, pero el equipo ha proporcionado canales de prueba.