ComfyUI 코어, H3 잠재 데이터 업스케일링 및 Sol-H3-VAE 지원 추가

ComfyUI는 2026년 10월 28일 MiniMax H3의 고해상도 경로를 커스텀 노드에서 코어로 옮기는 두 건의 코어 풀 리퀘스트를 병합했습니다. **PR 17412**는 전용 H3 노드와 함께 잠재 데이터 업스케일러 모델 지원을 추가하고, **PR 17411**은 VAE 로더가 NVIDIA Efficient-Large-Model 팀이 만든 증류 고속 디코더 Sol-H3-VAE를 열 수 있게 합니다. 두 PR 모두 Kijai가 작성했으며 v0.43.1 태그 이후에 병합되었으므로 master와 nightly 빌드에 나타나고, 현재 0.43.x 릴리스에는 포함되지 않습니다.

이 조합은 2K H3 작업에서 비용이 큰 두 부분을 겨냥합니다. VAE 왕복 없이 잠재 데이터를 키우는 것과, 완성된 클립을 디코딩하는 것입니다.

H3 잠재 데이터 업스케일러로 잠재 공간에서 업스케일한 저해상도 패스. 모델 카드에서 가져왔습니다.

같은 저장소의 영상 비교입니다.

코어에 반영된 변경 사항

두 PR 모두 체크포인트를 포함하지 않습니다. 기존 커뮤니티 가중치를 기본 로더로 불러올 수 있게 해줄 뿐이며, 이제 예전에 노드 팩이 필요했던 H3 업스케일러가 코어 노드만으로 동작합니다.

잠재 공간에서의 업스케일링

H3 잠재 데이터는 24개 채널과 별도의 오디오 스트림을 가집니다. LBH-123-AI의 잠재 데이터 업스케일러는 3D 컨볼루션 백본으로 비디오 잠재 데이터를 직접 처리합니다. 345,280,216개 파라미터, 입출력 24채널, 기본 512채널, 입력 12블록과 출력 12블록으로 구성되며, 두 블록마다 커널 크기 5의 시간 컨볼루션이 들어갑니다.

핵심은 H3 VAE를 거치는 decode -> pixel upscale -> encode 과정을 건너뛰는 것입니다. 모델 카드는 이 VAE를 약 5B 파라미터로 설명합니다. 작성자는 또한 H3 잠재 데이터를 단순한 bilinear 또는 bicubic 보간으로 처리하면 고스팅이 발생하며, 학습된 업스케일러는 이를 피하도록 학습되었다고 보고합니다. 학습에는 약 80,000개의 페어 샘플이 사용되었으며, 대략 70,000개의 비디오 페어와 8,000개의 2K 이미지 페어로 나뉘고 조합에서 2배 확대가 가장 큰 비중을 차지합니다.

코어는 state dict에서 아키텍처를 읽으므로, 블록 수와 채널 폭, 시간 커널은 별도 설정이 아니라 가중치 자체에서 가져옵니다. 노드 출력은 H3의 중첩된 잠재 데이터를 유지하므로 오디오 절반은 변경 없이 그대로 전달되고 생성된 사운드트랙이 업스케일 후에도 살아남습니다. 입력 잠재 데이터의 노이즈 마스크는 버려집니다.

함께 제공되는 노드 팩과의 차이 두 가지는 알아둘 만합니다.

• 코어 노드는 배율이 아니라 대상 크기를 받습니다. MiniMax H3 Latent Upscale With Model의 기본값은 2560x1440이며, 스텝은 32이고 일반적인 해상도 상한이 적용됩니다. 반면 커뮤니티 노드는 1.0x에서 4.0x까지 연속적인 배율을 제공합니다.
• 업스케일만으로는 디테일이 추가되지 않습니다. 잠재 데이터의 크기만 바꾸므로, 새 해상도에서 두 번째 샘플링 패스를 수행해야 디테일이 되살아납니다. 이 단계에서 스텝 수를 낮게 두면 결과가 흐릿해집니다.

요청한 크기가 잠재 데이터 크기와 같으면, 코어 노드는 모델을 실행하지 않고 입력을 그대로 반환합니다.

드롭인 디코더로서의 Sol-H3-VAE

Sol-H3-VAE는 H3용 고속 비디오 디코더로, 기본 36레이어 VAE 디코더를 그것에서 증류한 1.62B 파라미터의 24레이어 noncausal 디코더로 대체합니다. 공간 타일 대신 윈도우 어텐션으로 전체 프레임을 디코딩하며, 각각의 원본 5-잠재 데이터 블록을 양방향으로 디코딩합니다. 모델 카드에 따르면 동일한 정규화된 잠재 데이터를 입력받아 H3 VAE 디코더와 같은 프레임을 반환하며, 오디오 디코더는 건드리지 않습니다.

모델 카드는 720p에서 2K에 이르는 홀드아웃 잠재 데이터에서 H3 디코더 대비 45.4 dB PSNR을, 생성된 768p 클립에서 38.2 dB를 보고합니다. GB200 수치는 캡처된 CUDA 그래프에서, RTX 5090 수치는 eager 모드에서 측정한 것입니다.

코어에서 이 체크포인트를 열려면 새 파일 이름 패턴만으로는 부족했습니다.

• 공개된 파일은 디코더를 decoder. 접두사 없이 저장하므로, 로더가 즉석에서 키를 재매핑하고 H3의 잠재 데이터 평균과 표준편차가 없을 때 이를 채워 넣습니다.
• noncausal 디코더는 프레임 계산 방식을 바꿉니다. 출력은 잠재 데이터당 4프레임이며, 5-잠재 데이터 블록마다 첫 잠재 데이터는 1프레임을 유지합니다. t개의 잠재 데이터에 대해 4t - 3 * ceil(t/5) 프레임이 나오고, 인코딩에는 이에 대응하는 역연산이 적용됩니다.
• 클립 전체를 타일이 아니라 한 번에 디코딩하기 때문에, PR은 별도의 메모리 추정을 추가하여 로더가 디코딩 시작 전에 VRAM을 계획할 수 있게 합니다.
• 양자화된 Sol VAE 빌드도 불러올 수 있습니다. 로더가 conv-rotation 가중치가 있는 int8을 감지하고 혼합 정밀도 연산으로 전환합니다.

공개된 파일은 fp32 기준 약 6.5 GB의 단일 sol_h3_vae.safetensors입니다.

그래프에 연결하기

1. 업스케일러 체크포인트를 ComfyUI/models/latent_upscale_models/에 넣습니다. H3 릴리스는 각각 약 691 MB인 bf16과 fp16, 그리고 1.38 GB fp32 .pth를 제공합니다.
2. sol_h3_vae.safetensors를 ComfyUI/models/vae/에 넣고 일반 VAE 로더로 불러옵니다.
3. Load Latent Upscale Model을 MiniMax H3 Latent Upscale With Model로 연결하여, 저해상도 샘플링 패스와 2560x1440 이상에서의 두 번째 샘플러 패스 사이에 배치합니다.
4. 정제된 잠재 데이터를 Sol VAE로 디코딩합니다.

업스케일러 가중치는 Apache-2.0입니다. ComfyUI의 템플릿 라이브러리에는 여전히 호스팅된 H3 API 템플릿만 있으므로, 이 조합을 위한 공식 2K 로컬 템플릿은 아직 없습니다. 위의 소요 시간은 ComfyUI 벤치마크가 아니라 모델 카드 자체의 측정값입니다.

제공 현황

• 업스케일러: LBH-123-AI/Minimax_h3_latent_Upscaler (Apache-2.0, bf16 / fp16 / fp32 체크포인트, 저장소에 예제 워크플로 2개 포함)
• 고속 디코더: Efficient-Large-Model/Sol-H3-VAE, 참조 Python 패키지는 code/ 아래에 있고, 더 넓은 런타임의 ComfyUI 단계는 NVlabs/Sana의 Sol-Engine 분기에 있습니다.
• 코어 변경 사항: PR 17412, PR 17411