Bernini-R S2V：字节跳动 Bernini-R 上的语音驱动视频生成
rzgar 发布 Bernini-R-S2V，这是一个语音到视频的微调模型，为字节跳动的 Bernini-R 模型添加了 Wan2.2 S2V 音频驱动唇同步能力，并提供了专用的 ComfyUI 自定义节点及多种精度变体。
社区开发者 rzgar 发布了 Bernini-R-S2V，这是一个语音到视频（S2V）的微调模型，它将 Wan2.2 S2V 的音频驱动唇同步能力移植到字节跳动的 Bernini-R 模型上。此次发布为 Bernini 生态系统带来了富有表现力的说话头生成功能，并配备了专用的 ComfyUI 自定义节点，支持 FP16、FP8 和 INT8 精度。
Speech-driven video generation on Bernini-R using audio-driven lip-sync. Source: rzgar/Bernini-R-S2V
什么是 Bernini-R？
Bernini-R 是字节跳动基于 Wan2.2 DiT 架构构建的开源视频生成与编辑框架。它结合了基于 MLLM 的语义规划器（Qwen2.5-VL）和双专家扩散 Transformer 渲染器，支持文生视频、图生视频、视频转视频以及多模态视频编辑任务。该模型在处理复杂生成和编辑请求的指令跟随方面表现出色，并获得了 Comfy-Org 的官方 ComfyUI 支持。
Bernini-R 上的语音驱动视频
Bernini-R-S2V 微调模型适配了 Wan2.2 S2V（语音转视频）模块——该模块最初由 Wan-AI 为音频驱动的说话头生成而开发——并将其集成到 Bernini-R 架构中。用户现在可以借助语音音频驱动 Bernini-R 生成的字符，实现自然的唇同步，支持图生视频和视频转视频工作流。
该模型提供多种精度变体：
| 变体 | 大小 | 说明 |
|---|---|---|
| FP16 | 约 27 GB | 高噪波和低噪波检查点，全精度 |
| FP8（缩放） | 约 14 GB | 通过缩放量化减少内存占用 |
| INT8（ConvRot） | 约 13 GB | convrot 量化，激进节省内存 |
每种噪波级别有两种变体：high_noise（更多动态/细节）和low_noise（更忠实于来源，更平滑）。
ComfyUI 集成
HF 仓库以压缩包形式捆绑了专用的 ComfyUI-WanBerniniS2V_v2 自定义节点集，并附带即用型工作流 JSON（Workflow V2、原始工作流、音频预处理）。社区镜像也可通过 AIMixer 在 GitHub 上获取。
BerniniS2V Conditioning V2 node workflow for single/dual speaker lip-sync with masking. Source: rzgar/Bernini-R-S2V
FP8-scaled inference result — speech-driven video on Bernini-R with lip-sync. Source: rzgar/Bernini-R-S2V
自定义节点的关键组件：
- BerniniS2V Conditioning — 处理 Bernini-R 的音频嵌入和 S2V 条件
- Workflow V2 — 更新后的图生视频 S2V 生成工作流模板，支持遮罩
- 音频处理 — 集成 wav2vec2 音频编码器，用于语音特征提取
Banodoco 社区的成员已分享了该节点的可用工作流，包括配备额外 TTS 节点以实现文字转语音再转视频管线的设置。
在线试用
hugging-apps 提供了一个在 ZeroGPU 上运行的说话头演示。上传一张人像照片和一段语音片段，即可使用 4 步 LightX2V 蒸馏采样生成唇同步的说话头视频，实现快速推理。
社区反响
该模型迅速在生成式 AI 社区中获得了关注，尤其是在渴望 S2V 功能的 Bernini-R 用户中。Banodoco Discord 讨论既体现了对新能力的热情，也记录了持续的工作流优化，用户们分享了遮罩技术和 TTS 集成方法。目前该模型在 Hugging Face 上获得了 7 个赞和 158 次下载。