TaoMate-FVSR восстанавливает лица в ИИ-видео по аудио

Модель нацелена на конкретную проблему, которая проявляется в сгенерированном видео: лицо рендерится мягким, зубы сливаются в белое пятно, а губы не следуют за речью. Улучшение того, что уже есть, сохраняет сломанную форму; повторная генерация лица меняет человека. TaoMate-FVSR делает и то и другое сразу: аудио управляет ртом, опорный кадр удерживает идентичность, а ранее сгенерированные кадры сохраняют стабильность плана.

Входной кадр лица 512×512	Выход TaoMate-FVSR, тот же кадр

Синхронизированный клип «до/после» из проекта, кадры лица при 25 fps.

Что модель делает с клипом

• Режим полной сцены. Кадр головы вырезается, восстанавливается, затем смешиваются цвет и маска и он вставляется обратно. Выход сохраняет исходное разрешение, частоту кадров и аудио, поэтому встраивается в существующий монтаж.
• Визуальный дубляж. Подайте вместо оригинальной дорожки новую речь, и губы будут пересинхронизированы под это аудио.
• Опорный кадр. По умолчанию первый кадр один раз проходит через GPEN, чтобы построить опорное изображение личности. Можно также подать свой отредактированный первый кадр: именно так вариант «Ours+» из статьи использует кадр, улучшенный GPT-Image. Кожа и детали лучше, но пиксели сильнее уходят от ground truth.

На своём бенчмарке из 150 клипов talking-head модель получает лучшие LPIPS (0.0793) и DISTS (0.0858) среди базовых методов восстановления, с которыми её сравнивают, а также лучший показатель lip-sync (Sync-C 7.413). Одна оговорка, которую стоит знать, прежде чем судить о цифрах: вариант на основе улучшения даёт более низкий PSNR (23.52), но самый высокий показатель воспринимаемого качества (MUSIQ 77.62), так что «восстановлено» и «совпадает с ground truth» здесь не одно и то же.

Запуск в ComfyUI

1. В ComfyUI/custom_nodes клонируйте ветвь comfyui: git clone --depth 1 --single-branch --branch comfyui https://github.com/TaoLiveAIGC/TaoMate-FVSR.git ComfyUI-TaoMate-FVSR
2. Установите зависимости с помощью собственного Python из ComfyUI, сохранив существующую сборку CUDA PyTorch.
3. Загрузите файлы модели: python scripts/download_models.py --dest ../../models/TaoMate-FVSR --gpen-source-dir ../../models/TaoMate-GPEN-source. Скрипт проверяет размеры и SHA256 и возобновляет частичные загрузки.
4. Откройте один из четырёх примеров рабочих процессов. yolo-gpen-workflow это путь полной сцены с автоматической обрезкой лица; cropped-face-workflow начинается с подготовленных лиц 512×512.

Заложите около 14,89 ГБ файлов моделей и конфигов и 32 ГБ системной памяти на самом длинном протестированном клипе. Цель в 16 ГБ видеопамяти измерена на H20 с ограничением памяти, а не на потребительской карте, а работа с 8/12 ГБ не тестировалась. Принятой конфигурацией были Linux, Python 3.10 и PyTorch 2.9; пути для Windows описаны, но не подтверждены.

1× или 2×

Модель работает в двух масштабах. 1× сохраняет кадр лица 512×512 и используется по умолчанию; 2× работает в 1024×1024 для большей детализации, требует больше видеопамяти, а результат перед вставкой обратно масштабируется до 512×512. Значения по умолчанию находятся в config.json: 10 шагов, шум 0.8, shift 5.0, audio guidance 4.0, reference guidance 1.7, seed 42.

Доступность

• Веса: TaoLiveAIGC/TaoMate-FVSR, один файл TaoMate-FVSR.safetensors плюс config.json.
• Код и узлы ComfyUI: TaoLiveAIGC/TaoMate-FVSR, руководство по установке на английском и китайском.
• Статья: arXiv 2611.03393; больше сравнений на странице проекта.

Ветвь ComfyUI помечена как экспериментальная: это ручная установка, она не зарегистрирована в ComfyUI Manager и переиспользует оригинальные веса, а не поставляет отдельный checkpoint для узлов.