Open-H3-Regenerate-2K-IC: 얼굴과 텍스트를 유지하며 H3 드래프트를 2K로

Open-H3-Regenerate-2K-IC는 NVlabs의 오픈 MiniMax H3 리파이너 두 번째 버전입니다. 10월에 공개된 버전과 같은 작업을 수행합니다. 1344x768 드래프트를 세 단계로 2K 또는 4K까지 끌어올리는 것이죠. 달라진 점은 드래프트가 들어가는 위치입니다. 첫 버전은 드래프트에 다시 노이즈를 주입해 다듬었기 때문에 얼굴, 입 모양, 작은 글자가 흔들렸습니다. IC 버전은 드래프트를 Ref2VA 트랜스포머의 컨텍스트에 깨끗한 상태로 두고 그 옆의 노이즈에서 고해상도 클립을 그려내므로, 정체성, 립싱크, 간판 텍스트, 레이아웃이 드래프트를 따라갑니다.

프로젝트의 자체 비교 클립에서 가져온 프레임. 소스: 프로젝트 페이지

해당 클립을 2560x1440으로 IC 출력한 결과이며, 드래프트의 오디오가 포함되어 있습니다. 소스: 프로젝트 페이지

유지하는 것

공식 H3-Regenerate-2K API와 비교했을 때 프로젝트의 주차장 비교 사례가 가장 명확합니다. API는 간판을 읽을 수 없는 표시로 렌더링하지만, IC 버전은 여전히 "PRIVATE CAR PARK"라고 읽힙니다. 첫 오픈 버전과 비교하면 IC 출력은 새로운 텍스처가 덜 추가되지만, 눈, 주름, 입 모양은 드래프트가 놓은 위치에 그대로 남습니다.

IC LoRA는 동결된 Ref2VA 트랜스포머 위에서 학습되며, 이 트랜스포머는 참조 비디오를 추가 토큰으로 읽습니다. 각 학습 쌍은 실제 768P에서 4K로 만든 클립이고, 크기를 줄인 사본이 깨끗한 참조로 앞에 놓이며 대상은 순수 노이즈부터 깨끗한 상태까지 어느 지점으로든 노이즈가 주입되고, 손실은 대상 토큰에만 적용됩니다.

실행 방식

768P 드래프트를 <Video 1>로 주고, 이를 생성한 캡션을 변경 없이 함께 넣습니다. 샘플러는 세 가지이며 모두 CFG 1입니다:

• up3(기본값): 드래프트 잠재 데이터가 3D-conv 잠재 업스케일러를 거친 뒤 sigma 0.835까지 노이즈가 주입되고 세 번의 트랜스포머 호출로 완료됩니다.
• up4: 같은 업스케일 시작점에서 sigma 0.923, 네 번의 호출.
• hf8: 순수 노이즈에서 HyperFlow 8단계 전부.

출력은 1080p, 2K(2560x1440, 기본값) 또는 4K(3840x2160)이며, 384P, 512P, 576P 드래프트는 768P로 돌아옵니다. 오디오는 드래프트에서 변경 없이 복사되고, 무음 오디오 잠재 데이터가 가중치와 함께 제공되며, 2K 결과는 빠른 H3 VAE로 디코딩되고 4K는 표준 VAE를 사용합니다.

ComfyUI에서

공식 노드는 없지만 이미 두 가지 커뮤니티 경로가 존재합니다:

• Kijai가 8.3 GB FP32 LoRA를 200 MB rank-21 bf16 파일로 압축했으며, Ref2VA 모델에 일반 LoRA로 로드됩니다.
• ComfyUI-OpenH3Regenerate2KIC는 네 개의 노드(Prepare Draft, Official Prompt, Sigma Grid, Compose Target Latent)와 풀랭크 5.9 GB 변환 LoRA, 세 가지 워크플로(텍스트에서 드래프트를 거쳐 2K로, 참조 이미지에서 드래프트를 거쳐 2K로, 드래프트에서 2K로)를 제공합니다.

가중치와 추론 코드는 Hugging Face에 있고, 참조 CLI는 NVlabs/Sana에 있습니다.