MiniMax H3 PTD LoRA로 Ref2VA 추론을 8스텝 또는 4스텝으로 단축

PTD는 Parametric Trajectory Distillation(매개변수 궤적 증류)의 약자로, EPFL, NVIDIA, Stanford 소속 Lan Feng과 공동 저자들이 arXiv 2610.11498로 발표했으며, 영상 전체를 MiniMax H3로 생성한 프로젝트 페이지도 있습니다. 이 논문은 50스텝으로 샘플링하는 33B 규모의 오디오-비디오 결합 모델을 LoRA와 궤적 감독만으로 4스텝 또는 6스텝 학생 모델로 증류합니다.

이 두 저장소가 추가하는 것은 그 이야기의 Ref2VA 쪽 절반입니다. 참조 이미지를 입력하면 영상과 오디오가 출력되며, 트랜스포머 평가 횟수는 8회 또는 4회입니다.

어댑터의 동작 방식

팀의 이전 PDD 릴리스(MiniMax-H3-Acc-LoRAs)는 베이스 모델의 단일 출력 헤드를 구간별 헤드 뱅크로 교체했습니다. PTD는 이 뱅크를 유지하면서 추론 스텝마다 독립적인 저랭크 어댑터 하나씩을 학습시킵니다. 확산 백본 위의 "per-hop" LoRA로, 각 홉이 자체 어댑터를 선택하고 자체 헤드를 융합합니다. 따라서 8홉 체크포인트는 트랜스포머 평가 8회로, 4홉 체크포인트는 4회로 실행됩니다.

각 체크포인트는 safetensors 메타데이터에 자체 설정(ptd_num_hops, pdd_num_steps=32, pdd_block_size, lora_rank, lora_alpha, lora_targets)을 담고 있습니다. 제공되는 apply_ptd_lora가 이 메타데이터를 읽어 스텝 수를 스스로 도출하기 때문에 ComfyUI 노드에는 스텝 슬라이더가 없습니다. 시그마 그리드는 체크포인트의 속성이기 때문입니다.

데모에서 보여주는 것

PTD 카드는 MiniMax-H3-Turbo 예제의 세 가지 사례(풀사이드 격투, 창고 대치, 모니터에서 나오는 오토바이)를 재사용해 베이스 Ref2VA 모델, 4스텝 Turbo LoRA, 8스텝 PDD 릴리스와 나란히 비교합니다. 참조 이미지, 프롬프트, predict_ref2v.py 스크립트가 저장소에 포함되어 있어 각 열을 그대로 재현할 수 있습니다.

RefAsymOPD 카드는 더 나아가 768×1344, 124프레임, 24fps, 오디오 포함의 새로운 사례 5개를 공개하며, 각 행에서 품질 상한으로서의 40스텝 베이스, 8스텝 PDD 릴리스, 8홉 일반 PTD 패스, 8홉 RefAsymOPD 패스를 비교합니다. 여기에 붙은 주장은 범위가 좁습니다. 동일한 스텝 수에서 일반 PTD보다 배경의 개연성, 선명도, 사실감이 뛰어나며 추가 비용이 없다는 것입니다. 체크포인트가 일반 PTD LoRA와 구조적으로 동일해 코드 변경 없이 교체할 수 있기 때문입니다.

데모 사례 sample-0의 네 열에서 각각 한 프레임씩, 클립의 동일 지점에서 캡처했습니다. 40스텝 베이스, PDD 8스텝, PTD 8스텝, PTD + RefAsymOPD 8스텝입니다.

sample-0의 전체 8스텝 RefAsymOPD 클립과 생성된 오디오입니다. 커버 이미지는 다른 사례(sample-2)의 2분할 프레임입니다.

ComfyUI에서 실행하기

두 저장소 모두 동일한 커스텀 노드 팩 comfyui_node/ComfyUI-MiniMaxH3-PTD/를 제공합니다. 이 팩은 PTD 샘플링 자체를 재구현하지 않고, 업스트림 ComfyUI-PTD 노드의 훅 구조를 재사용하면서 로더, 홉 그리드, 출력 헤드만 교체합니다. 이런 분리가 존재하는 이유는 업스트림이 4홉과 6홉 체크포인트를 받아들이고 베이스 출력 헤드에 대한 홉별 델타를 기대하는 반면, 이 어댑터들은 4홉과 8홉이며 PDD의 구간별 헤드 뱅크 위에서 학습되었기 때문입니다.

노드 팩 문서에 정리된 설정 절차는 다음과 같습니다.

1. 업스트림 ComfyUI-PTD(브랜치 release/comfyui-inference)를 custom_nodes/에 설치하고 추가로 pip install -e를 실행합니다. ptd_comfy 모듈이 형제 ptd 패키지를 가져오므로, 단순히 복제만 하면 가져오기 단계에서 실패합니다.
2. 저장소의 ComfyUI-MiniMaxH3-PTD를 custom_nodes/로 복사합니다.
3. 어댑터 체크포인트를 ComfyUI/models/ptd/에 넣습니다.
4. 베이스는 직접 변환해야 합니다. 이 어댑터들은 MiniMaxAI/MiniMax-H3의 원본, 프루닝되지 않은 transformer_ref/가 필요하며, scripts/convert_comfy_base.py로 변환합니다. 프루닝된 베이스, Turbo, PDD, 양자화된 베이스는 명시적으로 사용할 수 없습니다.
5. ComfyUI를 --disable-dynamic-vram 옵션으로 시작합니다.

텍스트 인코더(qwen3vl_32b_minimax_h3_bf16)와 비디오 및 오디오 VAE는 Comfy-Org/MiniMax-H3에서 가져옵니다. 베이스를 포함하면 전체 가중치 세트는 약 140GB입니다.

그래프는 짧습니다. 확산 모델 로드, 그다음 Load MiniMax-H3 PTD Adapters, 이어서 SamplerCustomAdvanced로 입력되는 PTD Sampler 및 PTD Sigmas 노드, MiniMax H3 참조 → 비디오를 통한 컨디셔닝, 마지막으로 AV 잠재 데이터를 분리해 비디오와 오디오를 디코딩합니다. API 형식 예제 워크플로가 릴리스마다 하나씩 저장소에 포함되어 있으며, README는 참조 이미지를 먼저 asset/에서 ComfyUI/input/으로 복사해야 한다고 경고합니다.

작성자들은 두 PTD 체크포인트 모두에 대해 ComfyUI의 HTTP 큐를 통한 엔드투엔드 검증을 보고합니다. 체크포인트의 매듭(knot)에서 정확히 8회와 4회의 트랜스포머 평가가 이루어졌고, 1344×768, 243프레임, 24fps, 32kHz 스테레오 오디오로 장면, 인물 동일성, 오디오 구조 면에서 Diffusers 스크립트와 일치했습니다. 동일한 시드를 사용해도 두 프런트 엔드가 초기 노이즈를 서로 다르게 뽑기 때문에 Diffusers 출력이 비트 단위로 재현되지는 않습니다. 테스트 환경은 단일 H20-3e에서 ComfyUI 5cc4b87, ComfyUI-PTD 43ae22c, PyTorch 2.13.0+cu130이었습니다.

커뮤니티 우회 방법

어댑터가 프루닝되지 않은 140GB 베이스를 요구하기 때문에, 커뮤니티의 첫 대응은 이를 더 작은 환경에 맞추는 것이었습니다. PTD 릴리스 하루 뒤에 컴팩트 로더(ComfyUI-PTD-Compact, 10월 22일 생성)가 프루닝 및 양자화된 베이스와 4스텝 어댑터의 int8 버전을 지원하기 시작했고, Banodoco 사용자들은 그 변환 결과로 만든 첫 스틸 이미지와 클립을 게시하고 있습니다. 해당 작성자의 그래픽 카드에서 8스텝 int8 빌드는 4MP 스틸 이미지 한 장당 약 14초가 걸립니다.

다운로드

두 어댑터 세트 모두 Hugging Face에 있습니다. 8스텝과 4스텝 쌍은 MiniMax-H3-PTD-LoRAs, RefAsymOPD 변형은 MiniMax-H3-PTD-RefAsymOPD-LoRAs입니다. ComfyUI 외부에서의 추론은 diffusers >= 0.40.0과 ref2va 워크플로를 사용하는 MiniMax-H3 Diffusers 모듈형 파이프라인으로 실행합니다.