Bernini-R S2V : Génération vidéo pilotée par la parole sur Bernini-R de ByteDance
rzgar publie Bernini-R-S2V, un fine-tuning parole-à-vidéo qui ajoute les capacités de synchronisation labiale pilotée par l'audio de Wan2.2 S2V au modèle Bernini-R de ByteDance, avec des nœuds personnalisés ComfyUI dédiés et plusieurs variantes de précision.
Le développeur communautaire rzgar a publié Bernini-R-S2V, un fine-tuning parole-à-vidéo (S2V) qui greffe les capacités de synchronisation labiale pilotée par l'audio de Wan2.2 S2V sur le modèle Bernini-R de ByteDance. Cette publication apporte la génération expressive de têtes parlantes à l'écosystème Bernini, avec des nœuds personnalisés ComfyUI dédiés et le support des précisions FP16, FP8 et INT8.
Génération vidéo pilotée par la parole sur Bernini-R utilisant la synchronisation labiale audio. Source : rzgar/Bernini-R-S2V
Qu'est-ce que Bernini-R ?
Bernini-R est le framework open-source de génération et d'édition vidéo de ByteDance, construit sur l'architecture Wan2.2 DiT. Il combine un planificateur sémantique basé sur MLLM (Qwen2.5-VL) avec un rendu Diffusion Transformer à double expert, prenant en charge les tâches de génération et d'édition vidéo texte-à-vidéo, image-à-vidéo, vidéo-à-vidéo et multimodales. Le modèle excelle dans le suivi d'instructions pour des requêtes complexes de génération et d'édition, avec un support officiel pour ComfyUI de la part de Comfy-Org.
Vidéo pilotée par la parole sur Bernini-R
Le fine-tuning Bernini-R-S2V adapte le module Wan2.2 S2V (parole-à-vidéo) : développé à l'origine par Wan-AI pour la génération de têtes parlantes pilotée par l'audio, et l'intègre dans l'architecture Bernini-R. Les utilisateurs peuvent désormais animer des personnages générés par Bernini-R avec un audio vocal pour une synchronisation labiale naturelle, prenant en charge à la fois les flux de travail image-à-vidéo et vidéo-à-vidéo.
Le modèle est disponible en plusieurs variantes de précision :
| Variante | Taille | Notes |
|---|---|---|
| FP16 | ~27 Go | Points de contrôle haute et basse bruit, pleine précision |
| FP8 (scaled) | ~14 Go | Mémoire réduite avec quantification mise à l'échelle |
| INT8 (ConvRot) | ~13 Go | Quantification convrot pour une économie de mémoire agressive |
Chaque niveau de bruit est disponible en deux variantes : high_noise (plus de mouvement/détails) et low_noise (plus fidèle à la source, plus lisse).
Intégration ComfyUI
Le dépôt HF intègre un ensemble de nœuds personnalisés dédié ComfyUI-WanBerniniS2V_v2 sous forme d'archive zip, avec des workflows JSON prêts à l'emploi (Workflow V2, workflow original, préparation audio). Un miroir communautaire est également disponible sur GitHub via AIMixer.
Workflow du nœud BerniniS2V Conditioning V2 pour la synchronisation labiale d'un ou deux intervenants avec masquage. Source : rzgar/Bernini-R-S2V
Résultat d'inférence FP8 — vidéo pilotée par la parole sur Bernini-R avec synchronisation labiale. Source : rzgar/Bernini-R-S2V
Composants clés du nœud personnalisé :
- BerniniS2V Conditioning : gère l'encodage audio et le conditionnement S2V pour Bernini-R
- Workflow V2 : un modèle de workflow mis à jour pour la génération S2V image-à-vidéo avec support du masquage
- Traitement audio : intègre l'encodeur audio wav2vec2 pour l'extraction des caractéristiques vocales
Les membres de la communauté Banodoco ont partagé des workflows fonctionnels pour ce nœud, y compris des configurations avec des nœuds TTS supplémentaires pour des pipelines texte-à-parole-à-vidéo.
Essayez-le en ligne
Un Hugging Face Space par hugging-apps propose une démo de tête parlante fonctionnant sur ZeroGPU. Téléchargez une photo de portrait et un clip vocal pour générer une vidéo de tête parlante synchronisée labialement en utilisant l'échantillonnage distillé LightX2V en 4 étapes pour une inférence rapide.
Accueil de la communauté
Le modèle a rapidement gagné en popularité dans la communauté de l'IA générative, en particulier parmi les utilisateurs de Bernini-R qui souhaitaient des capacités S2V. Les discussions sur le Discord Banodoco mettent en lumière à la fois l'enthousiasme pour cette nouvelle capacité et l'optimisation continue des workflows, les utilisateurs partageant des techniques de masquage et des approches d'intégration TTS. Le modèle compte actuellement 7 likes et 158 téléchargements sur Hugging Face.