TaoMate-FVSR: restaura rostros en vídeo de IA a partir del audio

Está orientado al fallo concreto que aparece en el vídeo generado: el rostro se renderiza suave, los dientes se funden en una mancha blanca y la boca no sigue la línea. Mejorar lo que ya hay conserva la forma rota; regenerar el rostro cambia de quién se trata. TaoMate-FVSR hace ambas cosas a la vez, usando el audio para guiar la boca, un fotograma de referencia para mantener la identidad y fotogramas generados previamente para mantener el plano estable.

Recorte de rostro de entrada de 512×512	Salida de TaoMate-FVSR, mismo fotograma

Clip sincronizado de antes y después del proyecto, recortes de rostro a 25 fps.

Qué hace con un clip

• Modo de escena completa. Recorta la cabeza, la restaura y luego mezcla el color y la máscara y la vuelve a pegar. La salida conserva la resolución, la frecuencia de cuadros y el audio de la fuente, por lo que encaja en un montaje existente.
• Doblaje visual. Si le pasas un habla de reemplazo en lugar de la pista original, la boca se resincroniza con ese audio.
• Fotograma de referencia. Por defecto, el primer fotograma pasa una vez por GPEN para construir la referencia de identidad. También puedes aportar tu propio primer fotograma editado, como hace la variante "Ours+" del artículo con un fotograma mejorado con GPT-Image: piel y detalle más agradables, pero los píxeles se alejan más de la verdad de referencia.

En su benchmark de 150 clips de talking-head obtiene el mejor LPIPS (0.0793) y DISTS (0.0858) entre las líneas base de restauración con las que se compara, además de la mejor puntuación de sincronización labial (Sync-C 7.413). Una advertencia que conviene conocer antes de juzgar las cifras: la variante basada en mejora obtiene una puntuación más baja en PSNR (23.52) mientras logra la más alta en calidad perceptual (MUSIQ 77.62), así que "restaurado" y "coincidente con la verdad de referencia" no son lo mismo aquí.

Ejecutarlo en ComfyUI

1. En ComfyUI/custom_nodes, clona la rama comfyui: git clone --depth 1 --single-branch --branch comfyui https://github.com/TaoLiveAIGC/TaoMate-FVSR.git ComfyUI-TaoMate-FVSR
2. Instala sus requisitos con el propio Python de ComfyUI, manteniendo la compilación de PyTorch con CUDA que ya tengas.
3. Obtén los archivos del modelo: python scripts/download_models.py --dest ../../models/TaoMate-FVSR --gpen-source-dir ../../models/TaoMate-GPEN-source. Comprueba tamaños y SHA256, y reanuda las descargas parciales.
4. Abre uno de los cuatro flujos de trabajo de ejemplo. yolo-gpen-workflow es la ruta de escena completa con recorte automático de rostros; cropped-face-workflow parte de rostros de 512×512 ya preparados.

Calcula unos 14.89 GB de archivos de modelo y configuración, y 32 GB de RAM del sistema en el clip probado más largo. El objetivo de 16 GB de VRAM está medido en una H20 con límite de memoria, no en una tarjeta de consumo, y el funcionamiento con 8/12 GB no se ha probado. Linux, Python 3.10 y PyTorch 2.9 fueron la configuración aceptada; las rutas de Windows están documentadas pero sin verificar.

1× o 2×

El modelo se ejecuta a dos escalas. 1× mantiene el recorte del rostro a 512×512 y es el valor predeterminado; 2× se ejecuta a 1024×1024 para obtener más detalle y necesita más VRAM, con el resultado reescalado a 512×512 antes de volver a pegarlo. Los valores predeterminados están en config.json: 10 pasos, ruido 0.8, shift 5.0, orientación de audio 4.0, orientación de referencia 1.7, semilla 42.

Disponibilidad

• Pesos: TaoLiveAIGC/TaoMate-FVSR, un único TaoMate-FVSR.safetensors más config.json.
• Código y nodos de ComfyUI: TaoLiveAIGC/TaoMate-FVSR, con la guía de instalación en inglés y chino.
• Artículo: arXiv 2611.03393; más comparativas en la página del proyecto.

La rama de ComfyUI está etiquetada como experimental: es una instalación manual, no está registrada en ComfyUI Manager y reutiliza los pesos originales en lugar de incluir un checkpoint específico para los nodos.