SolarRenderer: MiniMax H3에서 구현하는 4단계 구조 렌더링

SolarRenderer는 구조 비디오를 MiniMax H3에서 완성된 영상으로 바꿔 줍니다. 게임 엔진에서 뽑은 회색 상자, 시맨틱 세그멘테이션 맵, 스켈레톤 세트, 뎁스 패스, SMPL 바디 메시, 또는 모델이 학습 과정에서 한 번도 본 적 없는 스케치까지 입력으로 쓸 수 있습니다. 작업은 두 개의 rank-384 LoRA가 담당합니다. 구조를 H3 자체의 참조 경로로 전달하는 control LoRA와, 네 번의 샘플링 스텝만으로 클립을 렌더링하는 four-step LoRA입니다.

이 프로젝트는 Guian Fang, Shengju Qian, Dongyue Lu, Junchao Huang, Lutao Jiang, Xin Wang, Yiren Song, Li Jiang, Mike Zheng Shou가 NUS, LIGHTSPEED, CUHK(SZ), SLAI, HKUST(GZ)에 걸쳐 진행했습니다. 가중치는 2026년 10월 13일 Hugging Face에 공개되었고, 학습 데이터와 벤치마크가 포함된 코드 저장소는 10월 15일에 뒤따랐으며, 논문은 arXiv 2610.28630입니다.

벤치마크의 회색 상자 성 사례에서 나온 한 프레임으로, 구조 비디오와 첫 프레임, 프롬프트만으로 렌더링했습니다.

필요한 것과 돌려주는 것

입력은 최소 158프레임을 담은 24fps 구조 비디오, 원하는 룩으로 만든 첫 프레임(선택 사항), 그리고 프롬프트입니다. 출력은 24fps의 158프레임이며, 가로 1344x768 또는 세로 768x1344이고, 4스텝으로 샘플링됩니다. 그 밖의 캔버스 크기는 리사이즈 후 크롭됩니다. 프롬프트는 자유 텍스트가 아닙니다. 모델은 하나의 6부분 형식(주체 정의, 요약, 유지 분석, 350~500단어 설명, 사운드스케이프, 비-다이제틱 음악)으로 학습되었고, 저장소에는 짧은 자유 형식 문장은 훨씬 나쁘게 동작한다고 분명히 밝히고 있습니다.

제어 LoRA에는 조건 유형 레이블이 없습니다. 구조 프레임은 자신이 설명하는 프레임의 위치에서 H3의 네이티브 참조 경로로 입력되고, 프롬프트가 구조를 말로 명명합니다. 이것이 하나의 어댑터가 학습한 적 없는 구조 표현까지 아우르는 방식입니다. 벤치마크에는 16가지 구조 유형이 나열되어 있고 그중 11가지는 학습에서 보지 못한 것이며, 논문의 갤러리는 보지 못한 유형들도 잘 버틴다는 것을 보여줍니다. 연필 스토리보드, 포인트 클라우드, 복셀, 와이어프레임, 아이의 크레용 그림이 그렇습니다.

공개된 벤치마크 출력에서 다시 인코딩한, 158프레임 전체 사이버펑크 렌더.

LoRA 2개, 4단계, 그리고 스트리밍 페어

제어 LoRA는 rank 384이며 구조 비디오를 프레임 정렬 방식으로 주입합니다. 4단계 LoRA 역시 rank 384이고, 커뮤니티가 10월 초부터 ComfyUI용으로 변환해 온 4단계 H3 증류 모델인 DMAD를 미세 조정한 것입니다. 여기서는 4단계 student 모델이 제어 동작을 유지하도록 구조 가이드를 사용해 증류 모델을 재훈련합니다. 논문에서는 이 경로가 50단계 샘플링보다 12.3배 빠르다고 측정합니다.

두 LoRA는 모두 block-causal 버전도 함께 제공합니다. 인과 페어는 클립을 블록 단위로 렌더링하며, 각 블록은 최대 5개의 잠재 프레임으로 구성되고 프롬프트, 첫 프레임, 자신의 마지막 6개 블록 구조, 그리고 자신보다 먼저 렌더링된 5개 블록을 참조하되 이후 블록은 절대 참조하지 않습니다. 모든 블록은 4단계로 처리된 후 key/value 캐시에 커밋되므로, 블록이 완료되는 즉시 표시할 수 있습니다. 또한 --seconds는 6블록 창의 메모리로 렌더링을 구조 비디오의 길이까지 확장합니다.

프로젝트의 파이프라인: 구조 비디오 입력, 고정된 H3 백본에 제어 및 4단계 LoRA 적용, 스트리밍용 block-causal 변형.

ComfyUI에서 실행하기

이 저장소는 comfyui/ 안에 자체 노드 팩을 포함하고 있으며, 평소처럼 custom_nodes/에 클론하면 됩니다. 레지스트리 항목이 없으므로 ComfyUI Manager에서는 찾을 수 없습니다. ComfyUI 자체의 MiniMax H3 지원(v0.30.0 이상)과 Comfy-Org/MiniMax-H3 가중치 위에서 동작하며, LoRA는 공개된 그대로 로드됩니다. 로더가 LoRA를 ComfyUI의 가중치 이름에 매핑하고, 두 개가 체이닝되는데 4단계 LoRA가 먼저, 그다음 제어 LoRA가 이어집니다.

세 가지 워크플로가 함께 제공됩니다: 전체 품질, 저메모리, 롱 클립 인과 그래프입니다. 로컬 카드 사용자에게 흥미로운 것은 저메모리 워크플로입니다. 저장소에 따르면 이 워크플로는 ComfyUI를 14 GB GPU 메모리로 제한하고 CUDA 컨텍스트를 포함해 최대 14.5 GB를 사용하면서 완료되며, RTX 4080이나 4090 같은 16 GB 카드와 64 GB 시스템 메모리 환경에서 동작합니다. 모든 모델을 담을 수 있는 카드에서는 이 경로가 전체 품질 경로보다 약 두 배 오래 걸립니다.

이 팩은 http://127.0.0.1:8188/solarrenderer 페이지도 제공합니다. 예제를 선택하거나 구조 비디오와 첫 프레임을 넣고 프롬프트를 작성한 뒤 모델을 고르면 렌더링이 시작되며, 샘플러 미리보기가 도착하는 대로 보여주고 결과물을 구조 영상 옆에서 재생합니다. 각 단계를 보려면 models/vae_approx에 taeh3.safetensors를 두고 --preview-method taesd를 설정하세요. 추가 설치가 필요한 것은 웹 캡처 노드뿐입니다(playwright와 Chromium 다운로드).

전체 품질 워크플로 저메모리 워크플로 (16 GB) 롱 클립 인과 워크플로

벤치마크가 말하는 것

논문은 208개의 어려운 사례와 53개의 홀드아웃 클립을 Gemini 쌍대 비교 판정으로 평가하고 질문별 Elo 점수를 보고하며, DOVER, LAION aesthetic, VideoScore2, flicker, DINOv2, CoTracker3, edge F1에서 산출한 자동 점수도 함께 제시합니다. 홀드아웃 분할에서는 실제 클립과 비교한 DISTS, LPIPS, PSNR, SSIM도 포함합니다.

이 표의 동점은 실제 동점입니다. LynnReal-Omni는 하드 분할의 종합 평가에서 SolarRenderer와 동일한 평가를 받고 홀드아웃 분할에서는 뒤처집니다. causal 변형은 양방향 변형과만 비교 평가되므로 그 아래에 위치합니다. 판정 결과와 이 수치를 뒷받침하는 522개의 렌더는 벤치마크와 함께 공개되어, 비교를 신뢰에 의존하지 않고 다시 점수화할 수 있습니다.

논문은 또한 causal 변형이 768p를 실시간으로 렌더링한다고 주장합니다. 저장소의 Reactor 통합은 Reactor 팀이 기여한 개발 미리보기로, 더 보수적입니다. B200 GPU 4개에서 17프레임의 안정적인 블록을 처리하는 데 약 1.8~2.1초가 걸려 네이티브 24fps 타임라인보다 낮았고, 새 비디오를 준비하는 데는 1분 이상 걸릴 수 있습니다.

커뮤니티가 발견한 것

Banodoco Discord에서는 이번 릴리스가 공개된 당일 바로 hands-on 테스트가 이루어졌습니다. Kijai는 4스텝 LoRA를 원본 DMAD와 비교 테스트한 결과, 결과가 제대로 맞아떨어지려면 학습 설정에 맞춰 잠재 가이드를 반드시 사용해야 하며, 그 이후에는 자신의 해석대로 네이티브 H3 노드로도 처리할 수 있다고 밝혔습니다. "학습에 맞추려면 잠재 가이드를 꼭 사용해야 하고, 그러면 더 잘 작동합니다. 네이티브 노드로도 할 수 있습니다."

출력물에 대한 그의 평가는 엇갈렸지만 구체적이었습니다. 모션 추적은 약간 지나치게 문자 그대로 해석할 정도로 정확하며, 첫 프레임을 버리면 품질이 떨어집니다.

가장 많은 불만이 나온 부분은 프롬프트 형식이었습니다. Kijai는 공식 예시 프롬프트가 매우 복잡하다고 지적했고, RuneX는 시스템 프롬프트를 제안했습니다. RuneX는 또한 팩의 페이지를 실행하다 호스트 버퍼 오류를 겪었으며, 모델이 이미 네이티브로 로드되어 있다면 팩의 대부분은 교체 가능하다고 보았습니다. "나머지는 그냥 flash 어텐션 노드와 수동 시그마 노드입니다."

H3 모션 전송을 위해 TARA 패치에서 같은 네이티브 참조 방식을 택한 Alisson은 학습 규모를 상대적으로 짚어 주었습니다. 136,000개의 클립 대 자신의 700개라는 것입니다.

반응은 10월 25일 #minimax_h3_chatter에서 나왔으며, 여기에서 시작됩니다.

공개된 학습 소스: Magpie, CARLA, UnrealZoo 클립으로, 논문에서 설명한 136,000개 중 57,738개입니다.

알아두어야 할 제한 사항

• 학습된 클립은 6.6초입니다. 더 긴 영상에는 causal pair가 필요하며, causal 샘플러는 1344x768에서 약 80 GB의 key/value 캐시를 유지하는데, 메모리에 들어가지 않을 때는 시스템 메모리로 스필됩니다.
• 참조 경로는 양방향 쌍을 위한 135 GB의 H3 가중치와 8 GB의 LoRA로 구성되며, ComfyUI 저메모리 경로가 16 GB 카드를 사용할 수 있게 해 줍니다.
• 프롬프트 형식은 스타일 제안이 아니라 엄격한 제약입니다. 자유 텍스트는 LoRA가 학습한 제어를 잃게 됩니다.
• Elo 표는 한 명의 심사위원에게서 나온 것이며, hard split의 첫 프레임은 사진으로 촬영된 것이 아니라 이미지 모델이 만들어낸 것입니다.
• Reactor 스트리밍 경로는 미리보기로, 네이티브 추론과 비트 단위로 동일하지 않으며, Docker 실행은 아직 검증되지 않았습니다.

이용 가능성

가중치, causal pair, config, 라이선스 약관은 Enderfga/SolarRenderer에 있습니다. 코드, ComfyUI 노드 팩, 세 가지 워크플로, 프롬프트 스킬, Reactor 통합은 GitHub 저장소에 있으며, 학습 데이터와 벤치마크는 Enderfga/SolarRenderer-Data에 있습니다. 설치 없이 렌더링을 테스트해 볼 수 있는 온라인 데모도 Hugging Face Spaces에 있습니다.