MiniMax H3 FaceSwap LoRA로 모든 레퍼런스 비디오의 배우 교체하기

왼쪽: 새로운 인물을 제공하는 컨트롤 이미지. 오른쪽: 이를 사용해 생성된 출력 클립의 한 프레임.

LoRA가 바꾸는 것

MiniMax H3에서 얼굴 교체는 보통 참조 이미지 스택 전체를 학습된 동작에서 벗어나도록 강제하는 작업을 뜻합니다. ref2va 변형은 이미 참조 이미지를 입력으로 받지만, 배우를 덮어쓰기보다는 모양, 의상, 장면을 조정하는 데 사용합니다. 이 어댑터는 그 작업 범위를 얼굴로 좁힙니다. 유지하고 싶은 클립과 새로운 인물의 참조 이미지 한 장 이상을 입력하고, 트리거 단어 Faceswap 하나로 샘플러가 언제 교체를 적용할지 알려주면 됩니다.

모델 카드에서 발췌한 실용적인 세부 정보:

• ref2va용으로 학습됨. fl2va 브랜치가 아니라 레퍼런스 기반 비디오·오디오 H3 가중치 위에 적용됩니다.
• 트리거 단어 하나, Faceswap, 강도 1.0.
• 정리된(pruned) 어댑터. 작성자가 정한 임계값 미만인 블록은 safetensors 파일에서 제거되어 다운로드 크기가 63 MB로 유지되며, 작성자에 따르면 "LoRA 아티팩트가 더 적고, 학습된 베이스와 동일한 강도"를 의미합니다.
• 여러 참조 허용. 함께 제공되는 워크플로에는 참조 이미지 로더가 3개 있으며, 해당 노드는 "단일 또는 여러 Refs Images에서 작동한다"고 명시되어 있습니다.

공개된 데모 클립은 레이블이 새겨진 3분할 비교 영상입니다. 왼쪽에는 컨트롤 이미지, 가운데에는 레퍼런스 비디오, 오른쪽에는 교체된 출력이 배치됩니다.

ComfyUI에서 실행하기

저장소에는 SS_FaceSwap_MiniMax REF2V.json이 포함되어 있습니다. 작성자 본인의 CRT-Nodes 팩과 비디오 로딩 및 먹싱을 위한 ComfyUI-VideoHelperSuite를 기반으로 만든 프런트엔드 형식 워크플로입니다:

1. CRT-Nodes(ComfyUI Manager에서 CRT-Nodes로 제공)와 ComfyUI-VideoHelperSuite를 설치한 뒤 ComfyUI를 재시작합니다.
2. 모델 저장소에서 SS_FaceSwap_MiniMax_H3_REF2VA.safetensors를 다운로드하여 ComfyUI/models/loras/MiniMaxH3/SS_FaceSwap/에 넣습니다. 워크플로가 기대하는 경로입니다.
3. 워크플로를 열고 VHS 비디오 로더에 소스 클립을, 참조 이미지 로더에 새로운 인물을 로드한 다음, 프롬프트에 Faceswap을 입력합니다.

샘플 워크플로는 강도 1.0의 LoraLoaderModelOnly를 통해 LoRA를 연결하고, 그 옆 슬롯에 8스텝 Ref2VA turbo LoRA를 배치하여 데모 클립이 가속된 스텝 수로 렌더링되도록 합니다. 샘플러는 해당 팩의 "Balanced (recommended)" 프리셋을 사용하는 R2V 모드의 CRT MiniMaxH3UnifiedSampler입니다. 모델과 함께 공개된 비교 클립에는 0.7 strength라고 표시되어 있습니다. checkpoint, 텍스트 인코더, VAE 슬롯은 정리된 int8 convrot ref2va 베이스, nvfp4 Qwen3-VL 32B 텍스트 인코더, 그리고 H3의 별도 int8 비디오 및 fp32 오디오 VAE를 가리킵니다.

트리거 단어는 조건화의 절반에 불과합니다. 어댑터는 참조 이미지에서 인물을 가져오도록 학습되었기 때문에, 클립 자체의 피사체는 모션, 타이밍, 프레이밍, 오디오를 유지한 채 얼굴만 교체됩니다.

모델 카드의 예시

이전되는 인물이 반드시 사람일 필요는 없습니다. 두 번째로 공개된 비교 영상에서는 검정색 고양이가 얼굴을 제공하고, 그 결과가 소스 클립의 진행자에게 적용됩니다:

왼쪽에 컨트롤 이미지, 가운데에 레퍼런스 비디오, 오른쪽에 출력.

0.7 강도의 컨트롤 이미지, 레퍼런스 비디오, 출력이며, 오디오는 소스 클립에서 유지됩니다.

고양이의 인물을 스튜디오 진행자에게 옮기는 데 사용한 동일한 파이프라인.

이용 가능 여부

• 모델 카드와 가중치: UntMods/FaceSwap_MiniMaxH3_REF2VA
• 워크플로 JSON: SS_FaceSwap_MiniMax REF2V.json
• 노드 팩: PGCRT/CRT-Nodes

이 링크는 9월 19일 Banodoco의 #minimax_h3_chatter에 공유되었으며, 모델 카드는 공개 첫 며칠 만에 55개 이상의 좋아요를 받았습니다. 공개된 데모는 학습자 본인의 클립이며, 작성 시점까지 제3자 테스트 결과는 나오지 않았습니다.