TaoMate-FVSR: 오디오로 AI 비디오 얼굴을 복원하는 ComfyUI 모델

이 모델은 생성된 비디오에서 나타나는 특정 문제를 겨냥합니다. 얼굴이 부드럽게 렌더링되고, 치아가 흰색 블러로 뭉개지며, 입이 대사를 따라가지 않는 문제입니다. 있는 것을 강화하면 망가진 형태가 그대로 유지되고, 얼굴을 다시 생성하면 인물이 바뀝니다. TaoMate-FVSR은 오디오로 입을 구동하고, 참조 프레임으로 정체성을 유지하며, 이전에 생성된 프레임으로 샷을 안정적으로 유지하면서 두 가지를 동시에 수행합니다.

입력 512×512 얼굴 크롭	TaoMate-FVSR 출력, 동일 프레임

프로젝트의 동기화된 이전/이후 클립, 25 fps 얼굴 크롭.

클립에 하는 일

• 전체 장면 모드. 머리를 크롭하고 복원한 뒤 색상과 마스크를 블렌딩하여 다시 붙여넣습니다. 출력은 소스 해상도, 프레임 속도, 오디오를 유지하므로 기존 편집에 바로 넣을 수 있습니다.
• 비주얼 더빙. 원본 트랙 대신 대체 음성을 입력하면 입이 해당 오디오에 맞춰 다시 타이밍됩니다.
• 참조 프레임. 기본적으로 첫 프레임이 GPEN을 한 번 거쳐 정체성 참조를 만듭니다. 직접 편집한 첫 프레임을 제공할 수도 있으며, 논문의 "Ours+" 변형은 GPT-Image로 강화된 프레임으로 이를 수행합니다. 피부와 디테일은 더 좋아지지만 픽셀은 정답(ground truth)에서 더 멀어집니다.

150개 클립 토킹헤드 벤치마크에서 비교한 복원 베이스라인 중 최고 LPIPS(0.0793)와 DISTS(0.0858)를 기록했고, 최고 립싱크 점수(Sync-C 7.413)도 얻었습니다. 수치를 판단하기 전에 알아둘 점이 하나 있습니다. 강화 기반 변형은 PSNR(23.52)이 더 낮지만 지각 품질(MUSIQ 77.62)은 가장 높습니다. 즉 여기서 "복원됨"과 "정답과 일치함"은 같은 의미가 아닙니다.

ComfyUI에서 실행하기

1. ComfyUI/custom_nodes에서 comfyui 분기를 복제합니다: git clone --depth 1 --single-branch --branch comfyui https://github.com/TaoLiveAIGC/TaoMate-FVSR.git ComfyUI-TaoMate-FVSR
2. 기존 CUDA PyTorch 빌드를 유지한 채, ComfyUI 자체 Python으로 요구 사항을 설치합니다.
3. 모델 파일을 내려받습니다: python scripts/download_models.py --dest ../../models/TaoMate-FVSR --gpen-source-dir ../../models/TaoMate-GPEN-source. 크기와 SHA256을 확인하고, 중단된 다운로드를 이어받습니다.
4. 네 가지 예제 워크플로 중 하나를 엽니다. yolo-gpen-workflow는 자동 얼굴 크롭이 포함된 전체 장면 경로이고, cropped-face-workflow는 준비된 512×512 얼굴에서 시작합니다.

모델 및 설정 파일로 약 14.89 GB, 가장 긴 테스트 클립에서는 32 GB의 시스템 RAM을 예산으로 잡으세요. 16 GB VRAM 목표는 소비자용 카드가 아니라 메모리 제한이 걸린 H20에서 측정된 것이며, 8/12 GB 환경에서의 동작은 테스트되지 않았습니다. Linux, Python 3.10, PyTorch 2.9가 검증된 구성이었고, Windows 경로는 문서화되어 있지만 인증되지 않음 상태입니다.

1× 또는 2×

이 모델은 두 가지 스케일로 실행됩니다. 1×는 얼굴 크롭을 512×512로 유지하며 기본값입니다. 2×는 더 많은 디테일을 위해 1024×1024로 실행되고 더 많은 VRAM이 필요하며, 결과는 다시 붙여넣기 전에 512×512로 축소됩니다. 기본값은 config.json에 있습니다: 10 steps, noise 0.8, shift 5.0, audio guidance 4.0, reference guidance 1.7, seed 42.

사용 가능 여부

• 가중치: TaoLiveAIGC/TaoMate-FVSR, 단일 TaoMate-FVSR.safetensors와 config.json.
• 코드 및 ComfyUI 노드: TaoLiveAIGC/TaoMate-FVSR, 설치 가이드는 영어와 중국어로 제공됩니다.
• 논문: arXiv 2611.03393; 더 많은 비교는 프로젝트 페이지에서 확인할 수 있습니다.

ComfyUI 분기는 실험적으로 표시되어 있습니다. 수동 설치 방식이며, ComfyUI Manager에 등록되어 있지 않고, 노드 전용 checkpoint를 제공하는 대신 원본 가중치를 재사용합니다.