ComfyUI에서 MiniMax H3 Fun ControlNet Union 2.0: 8가지 컨트롤 유형

이전 체크포인트(MiniMax H3 Fun ControlNet Union, 2026년 8월 24일)는 Canny, Depth, HED, MLSD, Pose를 5개의 컨트롤 블록과 함께 제공했습니다. 2.0 버전은 그 인터페이스를 유지하면서 컨트롤 분기를 다시 구축했습니다. 새 체크포인트는 약 13.5 GB이며, ComfyUI는 공개 당일부터 이를 기본 지원합니다.

2.0에서 달라진 점

나머지는 모두 그대로 이어집니다. control_in_dim = 49(잠재 데이터 + 마스킹된 잠재 데이터 + 마스크, 즉 하나의 분기가 컨트롤과 인페인팅을 모두 담당), control_apply_audio = false, guidance_scale = 1.0에서 실행되는 guidance 증류 가중치, 그리고 메인 분기로의 제로 게이팅 스킵 추가 방식입니다.

주입 레이아웃이 눈에 띄는 변화입니다. 컨트롤 신호가 이제 50개 transformer 블록 중 10개에 연결되며, 이는 5개였던 때보다 주입 지점이 약 두 배로 늘어난 것입니다. 모델 카드는 이 점이 구조적 일치도를 더 tight하게 만든다고 설명합니다.

8가지 컨트롤 조건

Layout은 Wan2.1-VACE의 레이아웃 레시피를 따릅니다. 피사체별 박스를 흰색 배경 위에 색상으로 구분된 사각형으로 렌더링한 뒤 일반 RGB 비디오로 입력합니다. 생성 결과는 프레임 수(비디오 VAE가 디코딩할 수 있는 가장 큰 17 * n + 5로 내림, 최대 15초), 화면 비율, 고정 24 fps 측면에서 컨트롤 비디오를 따릅니다.

ComfyUI에서 실행하기

ComfyUI는 PR #16471(CORE-462, 2026년 9월 22일 병합)에서 새 체크포인트 지원을 추가했으며, 이 PR은 MiniMax H3 컨트롤 경로를 세 곳에서 갱신합니다:

• comfy/ldm/minimax/controlnet.py가 inpaint_post_norm 플래그를 인식하므로, 마스킹된 픽셀이 VAE 정규화 이전이 아니라 이후에 0으로 설정됩니다.
• comfy_extras/nodes_minimax_h3.py는 해당 플래그가 설정되면 마스킹 영역에 ImageNet 평균을 다시 더해, 2.0 체크포인트가 학습된 방식과 일치시킵니다.
• comfy_extras/nodes_model_patch.py는 이제 체크포인트 자체에서 주입 레이어를 도출합니다(range(0, 50, 50 // num_blocks)). 따라서 하나의 로더가 5블록 v1과 10블록 v2.0 가중치 파일을 모두 처리합니다.

그래프에서는 이전과 동일한 두 노드를 사용합니다. 컨트롤 분기에는 ModelPatchLoader, 컨트롤 비디오를 샘플러에 연결하려면 MiniMaxH3FunControlNetApply를 씁니다. 공개된 체크포인트는 원본 컨트롤 분기이므로, ComfyUI 사용자는 대신 Kijai의 MiniMax H3 저장소에서 변환된 패치 중 하나를 로드합니다:

• minimax_h3_fun_controlnet_union_2.0_pruned_bf16.safetensors
• minimax_h3_fun_controlnet_union_2.0_pruned_int8_convrot.safetensors

ComfyUI에 기본 포함된 공식 템플릿 video_minimax_h3_fun_controlnet_union은 포즈 컨트롤을 위한 전체 체인(해상도 선택기, H3 레퍼런스 기반 비디오 생성 노드, VAE 페어, SDPose 비디오 포즈 전처리 서브그래프, 샘플러)을 이미 구성해 둡니다. ModelPatchLoader에서 패치 파일을 2.0 빌드로 교체하면 새 체크포인트가 실행됩니다.

ComfyUI 공식 포즈 컨트롤 템플릿에 포함된 미리보기 이미지

같은 템플릿의 또 다른 미리보기 이미지

결과

모델 카드는 모든 조건에 대해 컨트롤 비디오와 생성 출력을 공개했으며, 모두 40 추론 스텝, guidance_scale = 1.0, control_context_scale = 1.00 설정입니다. 아래 각 쌍에서 왼쪽 이미지가 컨트롤 신호, 오른쪽 이미지가 출력입니다.

Pose 컨트롤 비디오	생성된 출력

Layout 컨트롤 비디오 (2.0 신규)	생성된 출력

Scribble 컨트롤 비디오 (2.0 신규)	생성된 출력

인페인팅 쌍을 포함한 전체 클립은 모델 페이지에서 볼 수 있습니다.

이용 방법

체크포인트는 v1과 마찬가지로 VideoX-Fun 추론 파이프라인을 통해 실행됩니다. VideoX-Fun을 복제하고, 베이스 MiniMax H3 모델과 13.5 GB 컨트롤 분기를 models/Diffusion_Transformer/ 아래에 두고, examples/minimax_h3_fun/predict_v2v_control.py가 새 가중치를 가리키도록 설정하면 됩니다. 모델 카드가 특히 강조하는 함정이 하나 있습니다. 2.0 체크포인트에 v1 config(minimax_h3_control.yaml)를 사용하면 조용히 실패합니다. 컨트롤 분기의 절반만 구성되기 때문에 control_blocks.5~9가 예상치 못한 키로 버려지고 나머지도 잘못 배치됩니다. 항상 minimax_h3_control_inpaint_post_norm.yaml을 사용하세요.

control_context_scale은 여전히 메인 분기에 더해지기 전 모든 컨트롤 스킵의 크기를 조절합니다. 1.0은 가장 강한 컨트롤, 더 낮은 값은 약한 가이드, 0.0은 컨트롤 분기를 완전히 끄는 값입니다.