Ovi: Character.AI의 트윈 백본 오디오-비디오 생성 모델

ComfyUI Wiki

Character.AI의 Ovi는 Wan2.2를 기반으로 구축된 트윈 백본 오디오-비디오 모델로, 양방향으로 동기화된 오디오와 비디오를 생성합니다.

O

Ovi

Audio-Video GenerationVideo GenerationCross-ModalWan2.2

Character.AI의 크로스 모달 오디오-비디오 모델입니다. Wan2.2 A14B MoE 아키텍처를 기반으로 하는 두 개의 diffusion 백본이 모달리티 간 cross-attention 조건화를 통해 오디오와 비디오를 생성합니다. 즉, 클립이 자체 사운드트랙을 만들어낼 수도 있고, 파형이 영상을 만들어낼 수도 있습니다. 오디오는 MMAUDIO 16 kHz VAE와 BigVGAN 보코더를 거쳐 처리됩니다.

개발사Character.AI
출시 날짜2025-10
아키텍처트윈 백본 diffusion transformer (Wan2.2 A14B MoE 기반)
라이선스Apache-2.0
기능비디오→오디오, 오디오→비디오, 비디오와 오디오 동시 생성
오디오16 kHz MMAUDIO VAE와 BigVGAN 보코더
모델 파일오디오와 비디오 백본 분리 제공, bf16

Ovi란 무엇인가요?

Ovi는 Character.AI가 공개한 오픈 웨이트 오디오-비디오 생성 모델입니다. 두 모달리티를 모두 출력하는 단일 네트워크 대신, 각각 Wan2.2 A14B MoE 아키텍처를 기반으로 하는 두 개의 diffusion 백본을 나란히 실행하며, 그 사이에 cross-attention 조건화를 적용합니다. 이것이 매핑을 양방향으로 만드는 이유입니다. 무음 클립이 어울리는 오디오를 생성할 수도 있고, 오디오 파형이 비디오를 생성할 수도 있으며, 둘을 함께 생성할 수도 있습니다.

오디오 쪽은 16 kHz의 MMAUDIO VAE와 합성용 BigVGAN 보코더를 사용합니다. 가중치는 bf16의 별도 오디오 및 비디오 백본으로 제공되며, 이 버전의 Model Hub 다운로드는 WanVideoWrapper 커스텀 노드에서 사용하는 Kijai 재패키징본입니다.

Guides and workflows related to this model series.

No articles found.

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…