Skip to content
더 나은 ComfyUI 지식베이스 구축을 돕기 후원자 되기
새소식카이쇼우, ReCamMaster 단일 비디오 재촬영 기술 발표

카이쇼우, ReCamMaster 단일 비디오 재촬영 기술 발표

카이쇼우 테크놀로지는 최근 ReCamMaster라는 새로운 비디오 처리 기술을 발표했습니다. 이 기술은 카메라 시점과 움직임 경로를 제어하여 기존 비디오 자료를 “재촬영”하여 새로운 동적 시점 효과를 생성할 수 있게 해주며, 추가 촬영 장비나 복잡한 후처리 없이 가능합니다.

기술 특징

ReCamMaster는 사용자가 다음을 할 수 있도록 허용합니다:

  • 단일 비디오 소스에서 새로운 카메라 경로를 가진 비디오를 재생성
  • 팬, 틸트, 줌 및 아크 이동 등 다양한 프리셋 카메라 움직임 모드 제공
  • 비디오 내 장면 내용과 동작의 일관성 유지
  • 비디오 안정화, 4D 재구성 및 데이터 증강 등 다양한 응용 분야에 적합

응용 분야

프로젝트 페이지에 따르면, ReCamMaster는 여러 분야에 적용될 수 있습니다:

  • 비디오 안정화: 손으로 촬영한 흔들리는 비디오를 안정적이고 부드러운 화면으로 변환
  • 자율주행: 자율주행 시스템에 데이터 증강을 제공하여 다각도 관찰 데이터 생성
  • 로봇 비전: 인공지능 로봇에 다각도 관찰 데이터 제공
  • 비디오 제작: 제작자에게 새로운 비디오 편집 및 제작 도구 제공

기술 원리

ReCamMaster는 사전 훈련된 텍스트-비디오 확산 모델을 기반으로 하며, 정교한 비디오 조건 메커니즘을 설계하여 원본 비디오 내용을 유지하면서 사용자가 지정한 새로운 카메라 경로에 따라 비디오를 생성할 수 있습니다. 이 기술 팀은 또한 언리얼 엔진 5를 활용하여 대규모 다중 카메라 동기화 비디오 데이터 세트를 구축하여 모델이 실제 촬영 특성에 더 잘 적응할 수 있도록 훈련했습니다.

사용 경험

카이쇼우 테크놀로지는 사용자에게 ReCamMaster 기술을 경험해 보도록 초대하고 있습니다. 사용자는 자신의 비디오를 업로드하고 다음의 10가지 기본 카메라 경로 중 하나를 선택할 수 있습니다:

  1. 오른쪽으로 팬
  2. 왼쪽으로 팬
  3. 위로 틸트
  4. 아래로 틸트
  5. 확대(진입)
  6. 축소(후퇴)
  7. 위로 이동(회전 포함)
  8. 아래로 이동(회전 포함)
  9. 왼쪽 아크 이동(회전 포함)
  10. 오른쪽 아크 이동(회전 포함)

관련 링크

이 기술은 최근 유행하는 비디오 생성 및 편집 기술과 유사하며, 예를 들어 TrajectoryCrafter와 비슷하지만, 시연 결과에 따르면 ReCamMaster는 더 높은 품질의 결과를 제공하는 것으로 보입니다. 현재 이 기술은 완전히 오픈 소스가 아니지만, 팀은 체험 경로를 제공하고 있습니다.


관련 리소스 링크