MiniMax H3 ORB360: 360도 카메라 오빗과 CardSpin LoRA

눈 내리는 장면 속 고양이를 한 바퀴 도는 모습, 참조 사진 한 장으로 생성됨. 소스: MiniMax-H3-ORB360-CardSpin.

LoRA의 기능

MiniMax H3 레퍼런스 기반 비디오 생성은 입력 이미지를 모양 참조로 취급하는데, 이는 포즈나 외형에는 충분하지만 카메라 무브에는 부족합니다. ORB360은 대신 실제 오빗의 기하학을 모델에 학습시킵니다. 한 바퀴, 한 방향, 고정된 피사체, 그리고 믿을 만한 거리와 높이를 유지하는 카메라입니다. 나머지 장면은 사진이 놓은 자리에 그대로 남습니다.

step-1500 오빗, 1024 x 768, 124 프레임, 20 스텝, 시드 20260926.

CardSpin은 동일한 오빗 LoRA에서 시작해 생성된 클립 하나에 50 학습 스텝을 추가합니다. 결과물은 더 이상 사진 속 인물을 공전하지 않습니다. 사진을 평평한 오브젝트로 취급해 회전시키며, 이는 공간에 걸린 인화지나 카드처럼 보입니다.

CardSpin v2, 동일한 사진과 시드에 카드 스핀 프롬프트를 사용.

어떤 파일을 사용할까

아래 클립은 CardSpin이 탄생한 우연한 계기입니다. 학습에 사용된 회색 배경 렌더 대신 실제 사진으로 오빗 LoRA를 테스트하던 중, MATLOW가 Julia Margaret Cameron이 촬영한 1867년 John Herschel 경의 초상 사진을 입력하자 모델은 사람이 아니라 사진 자체를 회전 대상으로 판단했습니다.

19세기 초상 사진에 적용한 750 스텝 오빗 LoRA. 소스: MiniMax-H3-ORB360-CardSpin.

그 클립 하나의 캡션으로 50 스텝을 학습시키자 그 효과가 학습에서 본 적 없는 사진에도 전이되었습니다. 고해상도 패스는 겉보기보다 중요합니다. step-1500 오빗은 750 스텝 버전과 비교해 미세 디테일이 대략 두 배로 늘어나는 반면, 50 카드 스핀 스텝은 닿는 모든 것을 부드럽게 만들기 때문에 깔끔한 오빗을 원할 때 CardSpin은 골라서는 안 되는 파일입니다.

동일 프레임의 네이티브 픽셀 크롭, LoRA마다 한 열. 소스: MiniMax-H3-ORB360-CardSpin.

step-1500 오빗의 성능

작성자는 학습용으로 렌더링된 적 없는 세 가지 오브젝트에 대해 각각 하나의 시드로 step 1500을 테스트하고, 실제 오빗의 Blender 렌더와 비교했습니다.

이 수치들은 회색 배경 렌더에서 나온 것입니다. 실제 사진에서는 현재 오빗이 참조 사진의 높이에 머무르며, 작성자는 이를 주요 미해결 과제로 꼽습니다.

ComfyUI에서 LoRA 사용하기

두 파일 모두 MiniMax H3 Ref2VA 모델에서 강도 1.0, model-only 모드로 표준 Lora Loader 노드에 로드됩니다. lora_unet_*, lora_down, lora_up, alpha 키를 가진 kohya 스타일 LoRA이며, 200개 모듈 전부가 ComfyUI가 이미 로드하는 MiniMax H3 가중치에 매핑됩니다.

• 참조 사진을 Ref2VA 조건화에 입력합니다. 참조가 하나면 모델은 이를 오빗의 첫 프레임과 마지막 프레임으로 취급합니다.
• 클립은 124 프레임, 24 fps로 유지합니다. 저장소의 프롬프트에는 "at 1.708333 seconds (zero-based frame 41), 120 degrees" 같은 타임코드가 포함되어 있으며, 이는 해당 길이를 전제로 합니다.
• 가중치와 함께 네 가지 프롬프트가 제공됩니다. 사진 자체의 주변 환경을 유지하는 단일 사진 오빗, 정면·120도·240도 뷰를 위한 세 참조 변형, 그리고 step-1500 패스가 학습한 두 가지 정확한 캡션 형식(홀드아웃 테스트에서 가져옴)입니다.
• 작동이 확인된 해상도는 가로 방향 800 x 800, 1024 x 768, 1152 x 768이며, 세로 방향은 672 x 832, 832 x 1024입니다.
• 캡션은 MiniMax의 Ref2VA 프롬프트 레이아웃을 따르며 두 오디오 섹션을 모두 N/A로 설정해 무음을 요청합니다. 이것이 없으면 H3는 사운드트랙을 임의로 만들어내는 경향이 있습니다.

학습

두 단계 모두 단일 NVIDIA RTX PRO 6000에서 musubi-tuner로 rank 32, 알파 32, AdamW 상수 학습률 1e-4, bf16 혼합 정밀도, 비디오 전용 손실로 학습했습니다. step-1500 오빗은 Blender로 렌더링한 23개 에셋을 세 가지 길이의 시계 방향 한 바퀴 오빗 345개로 만들어 사용했고, 각 클립은 서로 다른 참조 이미지와 함께 세 개의 학습 행에 등장해 총 960행, 약 26시간에 걸친 1500 스텝이 되었습니다.

제한 사항

• 높이 제어는 회색 배경 렌더에는 적용되지만 아직 실제 사진에는 적용되지 않습니다.
• 클립 중 높이가 변하는 오빗은 실패하며, 대신 피사체가 텀블링합니다.
• CardSpin 출력은 파생된 step-1500 오빗보다 눈에 띄게 부드럽습니다.
• 예시 캡션의 높이, 시간, 각도는 저장소의 테스트 오브젝트를 설명하는 것이므로 다른 피사체에는 수정이 필요합니다.