Bernini-R S2V: ByteDanceのBernini-Rによる音声駆動ビデオ生成
コミュニティ開発者rzgarがBernini-R-S2Vをリリース。これはWan2.2 S2Vの音声駆動リップシンク機能をByteDanceのBernini-Rモデルに追加する音声から動画へのファインチューンで、専用のComfyUIカスタムノードと複数の精度バリアントを備えています。
コミュニティ開発者 rzgar が Bernini-R-S2V をリリースしました。これは、Wan2.2 S2Vの音声駆動リップシンク機能をByteDanceの Bernini-R モデルに移植した音声から動画（S2V）ファインチューンです。このリリースにより、Berniniエコシステムに表現力豊かなトーキングヘッド生成がもたらされ、専用のComfyUIカスタムノードとFP16、FP8、INT8精度のサポートが提供されます。
Speech-driven video generation on Bernini-R using audio-driven lip-sync. Source: rzgar/Bernini-R-S2V
Bernini-Rとは？
Bernini-R は、ByteDanceが開発したWan2.2 DiTアーキテクチャ上に構築されたオープンソースの動画生成・編集フレームワークです。MLLMベースのセマンティックプランナー（Qwen2.5-VL）とデュアルエキスパートDiffusion Transformerレンダラーを組み合わせ、テキストから動画、画像から動画、動画から動画、マルチモーダル動画編集タスクをサポートします。このモデルは複雑な生成・編集リクエストに対する指示追従性能に優れており、Comfy-Orgによる公式 ComfyUIサポート も提供されています。
Bernini-Rでの音声駆動ビデオ
Bernini-R-S2Vファインチューンは、Wan2.2 S2V（音声から動画）モジュール（元々はWan-AIが音声駆動のトーキングヘッド生成用に開発）をBernini-Rアーキテクチャに統合したものです。これにより、ユーザーはBernini-Rで生成したキャラクターを音声オーディオで駆動し、自然なリップシンクを実現できます。画像から動画および動画から動画のワークフローの両方をサポートします。
モデルは複数の精度バリアントで利用可能です。
| バリアント | サイズ | 備考 |
|---|---|---|
| FP16 | ~27 GB | 高ノイズおよび低ノイズチェックポイント、フル精度 |
| FP8 (スケーリング) | ~14 GB | スケーリング量子化によるメモリ削減 |
| INT8 (ConvRot) | ~13 GB | convrot量子化による大幅なメモリ節約 |
各ノイズレベルには2つのバリアントがあります: high_noise (より多くの動き/詳細) と low_noise (ソースに忠実で滑らか)。
ComfyUI統合
HFリポジトリには、専用の ComfyUI-WanBerniniS2V_v2 カスタムノードセットがzipアーカイブとしてバンドルされており、すぐに使えるワークフローJSON（Workflow V2、オリジナルワークフロー、音声準備）も含まれています。コミュニティミラーはAIMixer経由で GitHub からも入手可能です。
BerniniS2V Conditioning V2 node workflow for single/dual speaker lip-sync with masking. Source: rzgar/Bernini-R-S2V
FP8-scaled inference result — speech-driven video on Bernini-R with lip-sync. Source: rzgar/Bernini-R-S2V
カスタムノードの主要コンポーネント:
- BerniniS2V Conditioning — Bernini-Rのオーディオ埋め込みとS2V条件付けを処理
- Workflow V2 — マスキング対応の画像から動画S2V生成用の更新済みワークフローテンプレート
- オーディオ処理 — 音声特徴抽出のためのwav2vec2オーディオエンコーダを統合
Banodocoコミュニティメンバーは、このノード用の動作するワークフローを共有しており、テキストから音声へのパイプライン用の追加TTSノードを含む設定もあります。
オンラインで試す
hugging-appsによる Hugging Face Space では、ZeroGPU上で動作するトーキングヘッドデモが提供されています。ポートレート写真と音声クリップをアップロードすると、4ステップのLightX2V蒸留サンプリングによる高速推論でリップシンクされたトーキングヘッド動画を生成できます。
コミュニティの反応
このモデルは生成AIコミュニティで急速に注目を集めており、特にS2V機能を望んでいたBernini-Rユーザーの間で人気を博しています。Banodoco Discordの議論では、新機能への熱意と進行中のワークフロー最適化の両方が見られ、ユーザーはマスキング技術やTTS統合アプローチを共有しています。現在、このモデルはHugging Faceで7件の高評価と158ダウンロードを記録しています。