快手发布ReCamMaster单目视频重运镜技术
快手科技近日发布了一项名为ReCamMaster的全新视频处理技术，这项技术能够通过控制相机视角和运动路径，将已有视频素材进行”重新拍摄”，生成全新的动态视角效果，而无需额外的拍摄设备或复杂的后期制作。
技术特点
ReCamMaster允许用户:
- 从单一视频源重新创建具有新相机轨迹的视频
- 提供多种预设相机运动模式，包括平移、倾斜、缩放和弧形移动等
- 保持视频中场景内容和动作的一致性
- 适用于各种应用场景，如视频稳定、4D重建和数据增强等
应用场景
根据项目页面展示，ReCamMaster可应用于多个领域:
- 视频稳定: 能够将手持拍摄的抖动视频转换为稳定流畅的画面
- 自动驾驶: 为自动驾驶系统提供数据增强，创建多角度观察数据
- 机器人视觉: 为人工智能机器人提供多视角观察数据
- 视频创作: 为创作者提供新的视频编辑和创作工具
技术原理
ReCamMaster基于预训练的文本到视频扩散模型，通过设计精巧的视频条件机制，能够在保持原视频内容的同时，根据用户指定的新相机轨迹生成视频。该技术团队还利用虚幻引擎5构建了大规模多相机同步视频数据集用于训练，使模型能够更好地适应真实世界的拍摄特性。
使用体验
快手科技正在邀请用户体验ReCamMaster技术。用户可以上传自己的视频，选择以下十种基本相机轨迹之一:
- 向右平移
- 向左平移
- 向上倾斜
- 向下倾斜
- 放大(推进)
- 缩小(拉远)
- 向上移动(带旋转)
- 向下移动(带旋转)
- 向左弧形移动(带旋转)
- 向右弧形移动(带旋转)
相关链接
这项技术与近期流行的视频生成和编辑技术类似，例如TrajectoryCrafter，但根据展示效果，ReCamMaster似乎提供了更高质量的结果。目前该技术尚未完全开源，但团队提供了试用渠道。