Skip to content
Ayuda a Construir una Mejor Base de Conocimientos de ComfyUI Conviértete en Patrocinador
NoticiasKuaishou lanza la tecnología de reencuadre de video monocular ReCamMaster

Kuaishou lanza la tecnología de reencuadre de video monocular ReCamMaster

Kuaishou Technology ha presentado recientemente una nueva tecnología de procesamiento de video llamada ReCamMaster, que permite controlar la perspectiva de la cámara y la trayectoria de movimiento, “regrabando” el material de video existente para generar nuevos efectos de perspectiva dinámica, sin necesidad de equipos de grabación adicionales o complicadas ediciones posteriores.

Características técnicas

ReCamMaster permite a los usuarios:

  • Recrear videos con nuevas trayectorias de cámara a partir de una única fuente de video
  • Ofrecer varios modos de movimiento de cámara preestablecidos, incluyendo panorámicas, inclinaciones, zooms y movimientos en arco
  • Mantener la coherencia del contenido y las acciones en la escena del video
  • Ser aplicable en diversos escenarios, como estabilización de video, reconstrucción 4D y aumento de datos

Escenarios de aplicación

Según la página del proyecto, ReCamMaster se puede aplicar en varios campos:

  • Estabilización de video: Capaz de convertir videos temblorosos grabados a mano en imágenes estables y fluidas
  • Conducción autónoma: Proporcionar aumento de datos para sistemas de conducción autónoma, creando datos de observación desde múltiples ángulos
  • Visión robótica: Proporcionar datos de observación desde múltiples ángulos para robots de inteligencia artificial
  • Creación de video: Ofrecer nuevas herramientas de edición y creación de video para creadores

Principios técnicos

ReCamMaster se basa en un modelo de difusión de texto a video preentrenado, que mediante un mecanismo de condiciones de video cuidadosamente diseñado, puede generar videos manteniendo el contenido original mientras se adapta a las nuevas trayectorias de cámara especificadas por el usuario. El equipo técnico también ha utilizado Unreal Engine 5 para construir un gran conjunto de datos de video sincronizado de múltiples cámaras para el entrenamiento, permitiendo que el modelo se adapte mejor a las características de grabación del mundo real.

Experiencia de uso

Kuaishou Technology está invitando a los usuarios a experimentar la tecnología ReCamMaster. Los usuarios pueden subir sus propios videos y elegir una de las diez trayectorias de cámara básicas a continuación:

  1. Panorámica a la derecha
  2. Panorámica a la izquierda
  3. Inclinación hacia arriba
  4. Inclinación hacia abajo
  5. Zoom (acercar)
  6. Alejar (alejar)
  7. Movimiento hacia arriba (con rotación)
  8. Movimiento hacia abajo (con rotación)
  9. Movimiento en arco hacia la izquierda (con rotación)
  10. Movimiento en arco hacia la derecha (con rotación)

Enlaces relacionados

Esta tecnología es similar a las recientes tecnologías de generación y edición de video, como TrajectoryCrafter, pero según los resultados mostrados, ReCamMaster parece ofrecer resultados de mayor calidad. Actualmente, esta tecnología no está completamente abierta, pero el equipo ha proporcionado canales de prueba.


Enlaces de recursos relacionados