Bernini-R S2V: Generación de video impulsada por voz en Bernini-R de ByteDance
rzgar lanza Bernini-R-S2V, un fine-tune de voz a video que agrega capacidades de sincronización labial impulsada por audio de Wan2.2 S2V al modelo Bernini-R de ByteDance, con nodos personalizados dedicados para ComfyUI y múltiples variantes de precisión.
El desarrollador comunitario rzgar ha lanzado Bernini-R-S2V, un fine-tune de voz a video (S2V) que incorpora las capacidades de sincronización labial impulsada por audio de Wan2.2 S2V al modelo Bernini-R de ByteDance. El lanzamiento trae generación expresiva de cabezas parlantes al ecosistema Bernini, con nodos personalizados dedicados para ComfyUI y soporte para precisiones FP16, FP8 e INT8.
Generación de video impulsada por voz en Bernini-R usando sincronización labial impulsada por audio. Fuente: rzgar/Bernini-R-S2V
¿Qué es Bernini-R?
Bernini-R es el marco de código abierto de generación y edición de video de ByteDance, construido sobre la arquitectura Wan2.2 DiT. Combina un planificador semántico basado en MLLM (Qwen2.5-VL) con un renderizador de Transformer de Difusión de doble experto, compatible con tareas de texto a video, imagen a video, video a video y edición multimodal de video. El modelo destaca en el seguimiento de instrucciones para solicitudes complejas de generación y edición, con soporte oficial para ComfyUI de Comfy-Org.
Video impulsado por voz en Bernini-R
El fine-tune Bernini-R-S2V adapta el módulo Wan2.2 S2V (voz a video), desarrollado originalmente por Wan-AI para la generación de cabezas parlantes impulsada por audio, y lo integra en la arquitectura Bernini-R. Ahora los usuarios pueden animar personajes generados con Bernini-R usando audio de voz para una sincronización labial natural, compatible con flujos de trabajo de imagen a video y video a video.
El modelo está disponible en múltiples variantes de precisión:
| Variante | Tamaño | Notas |
|---|---|---|
| FP16 | ~27 GB | Checkpoints de alto ruido y bajo ruido, precisión completa |
| FP8 (escalado) | ~14 GB | Memoria reducida con cuantización escalada |
| INT8 (ConvRot) | ~13 GB | Cuantización convrot para ahorro agresivo de memoria |
Cada nivel de ruido viene en dos variantes: high_noise (más movimiento/detalle) y low_noise (más fiel a la fuente, más suave).
Integración con ComfyUI
El repositorio de Hugging Face incluye un conjunto de nodos personalizados dedicados ComfyUI-WanBerniniS2V_v2 como un archivo zip, completo con flujos de trabajo JSON listos para usar (Workflow V2, flujo de trabajo original, preparación de audio). También hay un espejo comunitario disponible en GitHub a través de AIMixer.
Flujo de trabajo del nodo BerniniS2V Conditioning V2 para sincronización labial de uno/dos hablantes con enmascaramiento. Fuente: rzgar/Bernini-R-S2V
Resultado de inferencia FP8 escalado — video impulsado por voz en Bernini-R con sincronización labial. Fuente: rzgar/Bernini-R-S2V
Componentes clave del nodo personalizado:
- BerniniS2V Conditioning — maneja la incrustación de audio y el condicionamiento S2V para Bernini-R
- Workflow V2 — una plantilla de flujo de trabajo actualizada para generación S2V de imagen a video con soporte de máscaras
- Procesamiento de audio — integra el codificador de audio wav2vec2 para la extracción de características del habla
Miembros de la comunidad Banodoco han compartido flujos de trabajo funcionales para el nodo, incluyendo configuraciones con nodos TTS adicionales para tuberías de texto a voz a video.
Pruébalo en línea
Un Hugging Face Space de hugging-apps proporciona una demo de cabeza parlante que se ejecuta en ZeroGPU. Sube una foto de retrato y un clip de voz para generar un video de cabeza parlante con sincronización labial utilizando el muestreo destilado LightX2V de 4 pasos para una inferencia rápida.
Recepción de la comunidad
El modelo ha ganado rápidamente tracción en la comunidad de IA generativa, especialmente entre los usuarios de Bernini-R que deseaban capacidades S2V. Las discusiones en el Discord de Banodoco destacan tanto el entusiasmo por la nueva capacidad como la optimización continua del flujo de trabajo, con usuarios compartiendo técnicas de enmascaramiento y enfoques de integración de TTS. Actualmente, el modelo cuenta con 7 me gusta y 158 descargas en Hugging Face.