Bernini-R S2V: ByteDance의 Bernini-R에서 음성 기반 비디오 생성
rzgar가 Bernini-R-S2V를 출시했습니다. 이는 Wan2.2 S2V의 오디오 기반 립싱크 기능을 ByteDance의 Bernini-R 모델에 추가한 음성-비디오 파인튜닝 모델로, 전용 ComfyUI 커스텀 노드와 여러 정밀도 변형을 지원합니다.
커뮤니티 개발자 rzgar가 Bernini-R-S2V를 출시했습니다. 이는 Wan2.2 S2V의 오디오 기반 립싱크 기능을 ByteDance의 Bernini-R 모델에 이식한 음성-비디오(S2V) 파인튜닝 모델입니다. 이번 출시로 Bernini 생태계에 표현력 있는 토킹 헤드 생성 기능이 추가되었으며, 전용 ComfyUI 커스텀 노드와 FP16, FP8, INT8 정밀도를 지원합니다.
오디오 기반 립싱크를 사용한 Bernini-R의 음성 기반 비디오 생성. 출처: rzgar/Bernini-R-S2V
Bernini-R이란?
Bernini-R은 ByteDance가 Wan2.2 DiT 아키텍처 위에 구축한 오픈소스 비디오 생성 및 편집 프레임워크입니다. MLLM 기반 시맨틱 플래너(Qwen2.5-VL)와 이중 전문가 Diffusion Transformer 렌더러를 결합하여 텍스트 기반 비디오 생성, 이미지 기반 비디오 생성, 비디오 기반 비디오 생성 및 멀티모달 비디오 편집 작업을 지원합니다. 이 모델은 복잡한 생성 및 편집 요청에 대한 명령 수행 능력이 뛰어나며, Comfy-Org에서 공식 ComfyUI 지원을 제공합니다.
Bernini-R에서의 음성 기반 비디오 생성
Bernini-R-S2V 파인튜닝은 원래 Wan-AI가 오디오 기반 토킹 헤드 생성을 위해 개발한 Wan2.2 S2V(음성-비디오) 모듈을 Bernini-R 아키텍처에 통합합니다. 이제 사용자는 음성 오디오를 통해 Bernini-R로 생성된 캐릭터를 자연스러운 립싱크로 구동할 수 있으며, 이미지 기반 비디오 생성 및 비디오 기반 비디오 생성 워크플로를 모두 지원합니다.
모델은 여러 정밀도 변형으로 제공됩니다:
| 변형 | 크기 | 참고 사항 |
|---|---|---|
| FP16 | ~27 GB | 고노이즈 및 저노이즈 체크포인트, 전체 정밀도 |
| FP8 (스케일드) | ~14 GB | 스케일드 양자화로 메모리 절감 |
| INT8 (ConvRot) | ~13 GB | convrot 양자화로 적극적인 메모리 절감 |
각 노이즈 레벨은 high_noise(더 많은 움직임/디테일)와 low_noise(소스에 충실하고 부드러움)의 두 가지 변형으로 제공됩니다.
ComfyUI 통합
HF 레포지토리는 전용 ComfyUI-WanBerniniS2V_v2 커스텀 노드 세트를 zip 아카이브로 제공하며, 바로 사용 가능한 워크플로 JSON도 포함되어 있습니다 (Workflow V2, 원본 워크플로, 오디오 준비). 커뮤니티 미러는 AIMixer를 통해 GitHub에서도 이용할 수 있습니다.
싱글/듀얼 스피커 립싱크 및 마스킹을 위한 BerniniS2V Conditioning V2 노드 워크플로. 출처: rzgar/Bernini-R-S2V
FP8 스케일드 추론 결과 — 립싱크가 적용된 Bernini-R의 음성 기반 비디오 생성. 출처: rzgar/Bernini-R-S2V
커스텀 노드의 주요 구성 요소:
- BerniniS2V Conditioning — 오디오 임베딩 및 Bernini-R용 S2V 조건화 처리
- Workflow V2 — 마스킹 지원을 포함한 이미지 기반 비디오 S2V 생성을 위한 업데이트된 워크플로 템플릿
- 오디오 처리 — 음성 특징 추출을 위한 wav2vec2 오디오 인코더 통합
Banodoco 커뮤니티 회원들은 추가 TTS 노드를 사용한 텍스트-음성-비디오 파이프라인 설정을 포함한 노드용 작업 워크플로를 공유했습니다.
온라인에서 사용해 보기
hugging-apps의 Hugging Face Space는 ZeroGPU에서 실행되는 토킹 헤드 데모를 제공합니다. 초상화 사진과 음성 클립을 업로드하면 4단계 LightX2V 증류 샘플링을 통해 립싱크된 토킹 헤드 비디오를 빠르게 생성할 수 있습니다.
커뮤니티 반응
이 모델은 생성형 AI 커뮤니티, 특히 S2V 기능을 원했던 Bernini-R 사용자들 사이에서 빠르게 주목을 받고 있습니다. Banodoco Discord 토론에서는 새로운 기능에 대한 열정과 지속적인 워크플로 최적화가 모두 언급되며, 사용자들은 마스킹 기법과 TTS 통합 접근 방식을 공유하고 있습니다. 현재 이 모델은 Hugging Face에서 좋아요 7개, 다운로드 158회를 기록하고 있습니다.