MiniMax H3 RefMods: 학습 불필요 참조 어댑터

RefMods(Reference Latent Adapters, 참조 잠재 데이터 어댑터)라는 커뮤니티 프로젝트는 MiniMax H3 비디오에서 캐릭터 일관성을 유지하는 새로운 방식을 제공합니다. 매 생성마다 참조 이미지나 비디오를 입력하는 대신, 참조를 한 번 인코딩하여 약 1MB~1.6MB 크기의 작은 .safetensors 파일로 저장한 뒤, 필요할 때마다 LoRA처럼 로드하여 사용하면 됩니다. 이 프로젝트는 Reddit 사용자 malcolmrey가 제작했으며, RefMods 가중치 라이브러리 전체를 Hugging Face에 공개하고 설치 및 사용 가이드도 함께 제공합니다.

ComfyUI 측은 오픈소스 노드 팩 ComfyUI-MiniMaxH3Mod(MIT, 99 stars)가 담당하며, 조건화 경로를 통해 RefMods를 추출, 로드, 적용합니다.

RefMods는 실제로 무엇인가

RefMods는 사전 인코딩된 조건화 수준 어댑터입니다. 참조 이미지, 비디오 또는 GIF를 VAE로 한 번 인코딩하고 정체성 정보로 정제한 뒤 독립 실행 파일로 저장합니다. 생성 시점에는 어댑터가 H3 조건화 스트림에 직접 주입되므로 다음과 같은 장점이 있습니다.

• 매 실행마다 참조를 실시간으로 VAE 인코딩할 필요 없음
• 프롬프트에 <Picture 1> 같은 위치 기반 이미지 태그를 넣을 필요 없음
• 참조의 외형이 장면의 무관한 부분으로 번지는 "bleeding" 현상이 없음
• 학습 루프 불필요: LoRA 학습과 달리 추출은 단 한 번의 패스로 완료됨

노드 팩: 추출, 로드, 적용

ComfyUI-MiniMaxH3Mod는 5개의 노드(v0.1.0)를 제공합니다:

별도의 H3 RefMod Step Curve 노드는 denoise 과정 중 참조가 가장 강하게 적용되는 시점을 제어합니다. concept_at_start, concept_at_middle, concept_at_ends 같은 곡선 방향과 함께, 시드를 지정할 수 있는 scramble_seed를 제공하여 실행 간에 다중 참조 모드를 순환시킵니다.

H3 워크플로에 연결하기

두 개의 RefMod 노드는 조건화 로더와 가이드 또는 모션 컨텍스트 단계 사이에 위치합니다:

[ MiniMaxH3ImageToVideo / ReferenceToVideo ] (conditioning out)
                    |
                    v
          [ MiniMaxH3RefModApply ] <--- [ MiniMaxH3RefModsLoader ]
                    | (conditioning out)
                    v
     [ BasicGuider ] / [ MiniMaxH3MotionContext ]

프롬프트에는 고유 생체 특징에 대한 설명과 함께 일반적인 주제 태그(<Subject 1>, <Subject 2>)를 사용합니다. 다중 캐릭터 장면에서는 로더 슬롯마다 하나의 모드를 할당하면 어댑터가 토큰 충돌 없이 각 정체성을 매핑합니다.

샘플 출력

가중치 라이브러리

Hugging Face 라이브러리에는 현재 사전 제작된 수백 개의 RefMods가 파일당 약 1.1MB~1.6MB 크기로 호스팅되어 있습니다. 유명 인사, 가상 캐릭터, 해부학/개념 어댑터를 아우르며 모두 Apache-2.0 라이선스로 제공됩니다. 파일을 ComfyUI/models/refmods/에 넣으면 로더 노드가 드롭다운을 자동으로 채웁니다. 또한 이 프로젝트는 T2V, I2V, R2V, C2V 파이프라인을 포괄하는 샘플 비디오 라이브러리와 워크플로 컬렉션도 제공합니다.

제공처

• 노드 팩: GitHub의 Luisacaotica/ComfyUI-MiniMaxH3Mod(MIT)
• 가중치: Hugging Face의 malcolmrey/minimaxh3(Apache-2.0)
• 가이드: RefMods 설치 및 사용 가이드