Open-H3-Regenerate-2K: MiniMax H3를 위한 오픈 4K 리파인먼트

Open-H3-Regenerate-2K는 NVlabs Sana 팀이 MiniMax의 H3-Regenerate-2K 단계를 오픈 형태로 대체한 것입니다. 이 단계는 완성된 768P 드래프트를 더 높은 해상도로 다시 그리는 H3 파이프라인의 후반부입니다. 호스팅 버전에는 가중치가 공개되지 않았기 때문에, 팀은 동결된 H3 트랜스포머와 비디오 VAE 위에 단일 리파이너 LoRA로 이를 재구현하고 Hugging Face에 가중치를, 코드와 프로젝트 페이지를 함께 공개했습니다.

이 리파이너는 384P, 512P, 576P 또는 768P 드래프트를 입력받아 5~15초 길이의 네이티브 768P, 1080P, 2K(2560x1440) 또는 4K(3840x2160) 클립을 반환하며, 전체 샘플링을 수행하는 대신 세 번의 디노이징 단계로 처리합니다. 기본적으로는 공개된 디코더 대신 StreamRender-H3의 24레이어 고속 H3 VAE를 통해 디코드합니다.

프로젝트의 비교 세트에서 가져온 동일한 프레임과 동일한 창으로, 공식 H3-Regenerate-2K API의 크롭과 오픈 리파이너의 결과를 나란히 배치한 것입니다. 출처: 프로젝트 페이지

리파이너가 대체하는 것

H3는 두 단계로 생성합니다. 먼저 베이스 모델이 낮은 해상도에서 콘텐츠와 움직임을 확정하고, 이어서 재생성 단계가 얼굴, 직물, 털, 잎을 원래 크기로 다시 그립니다. 8월에는 첫 번째 단계만 가중치로 공개되었고, 두 번째 단계는 수정되지 않은 H3 768P 출력을 입력받아 2K를 반환하는 호스팅 API로만 존재했습니다.

Open-H3-Regenerate-2K는 같은 구성을 유지하면서 두 번째 단계를 오픈했습니다. 입력이 H3 베이스 모델로 제한되지 않습니다. 프로젝트에서는 LTX-2와 SANA-Video가 1024x576으로 만든 드래프트를 시연했으며, 리파이너는 그 레이아웃과 색상, 움직임을 더 큰 그리드로 옮깁니다.

세 단계로 작업을 처리하는 방식

드래프트는 한 번 인코딩되고, 이후 3D 컨볼루션 잠재 데이터 업스케일러가 잠재 데이터를 대상 그리드로 바로 확대합니다. 그 사이에 디코드와 재인코딩은 없습니다. 확대된 잠재 데이터는 시그마 0.909로 다시 노이즈가 주입되고, classifier-free 가이드를 끈 상태에서 세 번의 오일러 단계(0.909, 0.857, 0.667에서 0으로)로 디노이징됩니다. 따라서 각 단계는 전체 해상도에서의 단일 트랜스포머 호출입니다.

몇 단계 만에 처리하는 동작은 세 개의 어댑터가 담당하며, 공개 버전은 각 어댑터의 팩터를 랭크 축으로 이어 붙여 하나의 파일로 병합했습니다:

• Open-H3 리파이너 자체, 스텝 5000 EMA, 랭크 384
• LightX2V FL2VA Turbo v1.2, 랭크 128
• LMS Sharp v1.0, 랭크 64

병합된 LoRA는 312개의 선형 레이어에 걸쳐 랭크 576이며, FP32로 저장되고 Sharp 타임스텝 곡선 브랜치도 함께 포함됩니다. 이 브랜치는 레이어 입력이 아닌 8차원 곡선을 읽기 때문에 별도 모듈로 유지됩니다. 프로젝트의 병합 검사에 따르면 병합된 델타는 세 개의 개별 어댑터와 상대 오류 2.2e-8 수준으로 일치합니다.

속도와 벤치마크

팀은 단일 B200에서 5초 클립 하나를 768P 잠재 데이터에서 2560x1440으로 변환하는 작업을 웜 상태로 세 번 실행해 중앙값을 측정했습니다. SoL-Engine 포워드와 고속 VAE 디코더를 사용했을 때 잠재 데이터 업스케일, 세 번의 리파인 단계, VAE 디코드를 합쳐 22.45초가 걸렸고, 표준 diffusers 포워드에 공개된 디코더를 사용했을 때는 87.26초가 걸렸습니다. 성능 향상의 대부분은 디코드와 재인코딩을 건너뛰는 데서 나옵니다. 고속 디코더는 2K 클립을 약 15초가 아닌 1.58초에 처리합니다.

RefinerBench-150에서 두 시스템을 모두 2560x1440으로 실행했을 때, 팀은 UniPercept의 세 축 모두와 VBench의 미적 품질, 이미징 품질, 피사체 일관성에서 공식 API보다 높은 점수를 보고했습니다. 200건의 판단을 대상으로 한 블라인드 연구에서 오픈 리파이너는 87%의 선호도를 얻었습니다.

같은 비교 세트에서 가져온 두 번째 크롭 쌍입니다. 출처: 프로젝트 페이지

사용 가능 여부

이 리파이너를 위한 공식 ComfyUI 노드는 없습니다. 참조 구현은 Sana 저장소의 Python CLI(Linux, Python 3.11, CUDA 13.0이 포함된 PyTorch 2.11)이며, download.py 헬퍼가 가중치, 병합된 LoRA, 잠재 데이터 업샘플러, 고속 VAE 디코더를 내려받습니다.

ComfyUI 사용자들이 직접 포팅했습니다. Kijai는 리파이너를 랭크 384 LoRA로 단독 공개해 다른 디스틸과 조합할 수 있게 했고, 전체 어댑터 LoRA를 변환한 커뮤니티 버전도 Hugging Face에 있습니다(father558, DrakenZA). 변환 작업자들은 Diffusers 레이아웃에 SwiGLU 변환이 필요하기 때문에 단순 변환으로는 잘못된 가중치가 만들어지며, 그 단계를 거치지 않은 변환은 깨져 보일 것이라고 언급했습니다.

저장소에는 리파이너 LoRA, 고속 VAE 디코더(1.62B 파라미터), 수정되지 않은 H3 Diffusers 구성 요소 복사본이 포함되어 있어, MiniMax API 없이도 768P에서 2K로 가는 전체 경로를 실행할 수 있습니다.