Kuaishou lance la technologie de contrôle de caméra vidéo ReCamMaster
Kuaishou Technology a récemment annoncé une nouvelle technologie de traitement vidéo appelée ReCamMaster. Cette technologie permet de “re-filmer” des séquences vidéo existantes en contrôlant les angles de caméra et les trajectoires de mouvement, générant ainsi de nouveaux effets de perspective dynamique sans nécessiter d’équipement de tournage supplémentaire ou de post-production complexe.
Caractéristiques techniques
ReCamMaster permet aux utilisateurs de :
- Recréer des vidéos avec de nouvelles trajectoires de caméra à partir d’une seule source vidéo
- Offrir divers modes de mouvement de caméra prédéfinis, y compris le panoramique, l’inclinaison, le zoom et le mouvement en arc
- Maintenir la cohérence du contenu et des actions dans la vidéo
- Être applicable à divers scénarios, tels que la stabilisation vidéo, la reconstruction 4D et l’augmentation de données
Domaines d’application
Selon la page du projet, ReCamMaster peut être appliqué dans plusieurs domaines :
- Stabilisation vidéo : Capable de transformer des vidéos tremblantes filmées à la main en séquences fluides et stables
- Conduite autonome : Fournir des données d’augmentation pour les systèmes de conduite autonome, créant des données d’observation sous plusieurs angles
- Vision robotique : Fournir des données d’observation multi-angle pour les robots intelligents
- Création vidéo : Offrir aux créateurs de nouveaux outils d’édition et de création vidéo
Principe technique
ReCamMaster est basé sur un modèle de diffusion texte-à-vidéo pré-entraîné. Grâce à un mécanisme conditionnel vidéo soigneusement conçu, il peut générer des vidéos en maintenant le contenu d’origine tout en suivant les nouvelles trajectoires de caméra spécifiées par l’utilisateur. L’équipe technique a également utilisé Unreal Engine 5 pour construire un vaste ensemble de données vidéo synchronisées à plusieurs caméras pour l’entraînement, permettant au modèle de mieux s’adapter aux caractéristiques de tournage du monde réel.
Expérience utilisateur
Kuaishou Technology invite les utilisateurs à essayer la technologie ReCamMaster. Les utilisateurs peuvent télécharger leurs vidéos et choisir l’une des dix trajectoires de caméra de base suivantes :
- Panoramique vers la droite
- Panoramique vers la gauche
- Inclinaison vers le haut
- Inclinaison vers le bas
- Zoom avant
- Zoom arrière
- Mouvement vers le haut (avec rotation)
- Mouvement vers le bas (avec rotation)
- Mouvement en arc vers la gauche (avec rotation)
- Mouvement en arc vers la droite (avec rotation)
Liens connexes
Cette technologie est similaire à d’autres technologies de génération et d’édition vidéo récemment populaires, comme TrajectoryCrafter, mais selon les démonstrations, ReCamMaster semble offrir des résultats de meilleure qualité. Actuellement, cette technologie n’est pas entièrement open source, mais l’équipe propose des canaux d’essai.