카이쇼우, ReCamMaster 단일 비디오 재촬영 기술 발표

카이쇼우 테크놀로지는 최근 ReCamMaster라는 새로운 비디오 처리 기술을 발표했습니다. 이 기술은 카메라 시점과 움직임 경로를 제어하여 기존 비디오 자료를 “재촬영”하여 새로운 동적 시점 효과를 생성할 수 있게 해주며, 추가 촬영 장비나 복잡한 후처리 없이 가능합니다.

기술 특징

ReCamMaster는 사용자가 다음을 할 수 있도록 허용합니다:

• 단일 비디오 소스에서 새로운 카메라 경로를 가진 비디오를 재생성
• 팬, 틸트, 줌 및 아크 이동 등 다양한 프리셋 카메라 움직임 모드 제공
• 비디오 내 장면 내용과 동작의 일관성 유지
• 비디오 안정화, 4D 재구성 및 데이터 증강 등 다양한 응용 분야에 적합

응용 분야

프로젝트 페이지에 따르면, ReCamMaster는 여러 분야에 적용될 수 있습니다:

• 비디오 안정화: 손으로 촬영한 흔들리는 비디오를 안정적이고 부드러운 화면으로 변환
• 자율주행: 자율주행 시스템에 데이터 증강을 제공하여 다각도 관찰 데이터 생성
• 로봇 비전: 인공지능 로봇에 다각도 관찰 데이터 제공
• 비디오 제작: 제작자에게 새로운 비디오 편집 및 제작 도구 제공

기술 원리

ReCamMaster는 사전 훈련된 텍스트-비디오 확산 모델을 기반으로 하며, 정교한 비디오 조건 메커니즘을 설계하여 원본 비디오 내용을 유지하면서 사용자가 지정한 새로운 카메라 경로에 따라 비디오를 생성할 수 있습니다. 이 기술 팀은 또한 언리얼 엔진 5를 활용하여 대규모 다중 카메라 동기화 비디오 데이터 세트를 구축하여 모델이 실제 촬영 특성에 더 잘 적응할 수 있도록 훈련했습니다.

사용 경험

카이쇼우 테크놀로지는 사용자에게 ReCamMaster 기술을 경험해 보도록 초대하고 있습니다. 사용자는 자신의 비디오를 업로드하고 다음의 10가지 기본 카메라 경로 중 하나를 선택할 수 있습니다:

1. 오른쪽으로 팬
2. 왼쪽으로 팬
3. 위로 틸트
4. 아래로 틸트
5. 확대(진입)
6. 축소(후퇴)
7. 위로 이동(회전 포함)
8. 아래로 이동(회전 포함)
9. 왼쪽 아크 이동(회전 포함)
10. 오른쪽 아크 이동(회전 포함)

관련 링크

이 기술은 최근 유행하는 비디오 생성 및 편집 기술과 유사하며, 예를 들어 TrajectoryCrafter와 비슷하지만, 시연 결과에 따르면 ReCamMaster는 더 높은 품질의 결과를 제공하는 것으로 보입니다. 현재 이 기술은 완전히 오픈 소스가 아니지만, 팀은 체험 경로를 제공하고 있습니다.

관련 리소스 링크

• ReCamMaster GitHub 프로젝트 페이지
• ReCamMaster 기술 데모 사이트