CrossView-Warp LoRA: MiniMax H3 비디오를 위한 새로운 카메라 앵글

ComfyUI Wikinews

Cseti가 CrossView-Warp를 MiniMax H3로 포팅했습니다. MoGe depth warp를 사용해 기존 영상을 새로운 카메라 앵글에서 다시 렌더링하는 Ref2VA LoRA와 ComfyUI 노드입니다.

CrossView-Warp v1은 Cseti의 카메라 시점 재구성 어댑터를 MiniMax H3로 포팅한 버전입니다. 클립과 방위각, 고도 오프셋을 입력하면 동일한 장면을 그 새로운 시점에서 렌더링합니다. 함께 제공되는 ComfyUI 노드와 예제 워크플로도 공개되어 있습니다.

이번 릴리스는 LTX-2.3 IC-LoRA 버전들에 이은 CrossView 제품군의 세 번째 버전이며, 프롬프트 기반 카메라 문구가 아닌 MiniMax H3 Ref2VA를 기반으로 구축된 첫 번째 버전입니다. 카메라를 어디로 움직일지 설명하는 대신, 노드가 실제 지오메트리로 기존 영상을 워프하고 그 결과를 가이드로 모델에 전달하므로, 새로운 앵글이 깊이 맵이 지정하는 위치에 정확히 자리 잡습니다.

워프, 원본, 결과 나란히 비교

각 모델 페이지 클립은 깊이 워프, 원본 영상, 생성 결과를 담은 3분할 비교 영상입니다.

두 번째 카메라 이동세 번째 카메라 이동
두 번째 카메라 이동세 번째 카메라 이동

전체 비교 클립은 모델 페이지에서 확인할 수 있습니다: 00010, 00014.

작동 방식

LoRA는 두 개의 비디오를 동시에 읽습니다. 첫 번째는 CrossViewWarp 노드가 MoGe 지오메트리 추론을 실행해 생성한 클립의 깊이 워프이며, 시점 변경 정보를 담고 있습니다. 두 번째는 클립 자체로, 피사체 정체성과 조명, 모양을 담고 있습니다. 워프는 프레임 0에서 모델의 가이드 경로로 들어가고, 소스 클립은 참조 경로로 들어가며, crossview 트리거 단어가 어댑터를 활성화합니다.

지오메트리가 텍스트 프롬프트가 아니라 워프에서 오기 때문에, 카메라 오프셋은 노드에서 수치로 설정하며 LTX 릴리스와 동일한 컨트롤 환경을 제공합니다. 원본 카메라가 한 번도 본 적 없는 영역은 노드 미리보기에서 검토 대상으로 표시되며, 그곳에 무엇이 나타나야 하는지 프롬프트로 지정할 수 있습니다.

프롬프트와 설정

트리거 단어는 crossview입니다. LoRA 강도는 0.8에서 1.0 사이이며, 4스텝 distilled 경로에서는 0.8을 권장합니다.

설정
트리거 단어crossview
LoRA 강도0.8 (0.8 ~ 1.0)
프레임124
1차 패스0.5 MP, 16:9
2차 패스1.5 MP, 16:9
샘플러 / 스텝res_multistep, DMD 8스텝 turbo LoRA와 함께 8스텝
시그마 시프트비디오 12 / 오디오 3

노드의 워크스루 영상에서 카메라 컨트롤을 확인할 수 있으며, 위 설정은 공개된 예제들을 생성할 때 사용한 값입니다.

학습 세부 정보

파라미터
베이스 모델MiniMax H3, ref2va
프레임워크musubi-tuner (minimax-h3 브랜치)
전략Ref2VA, aligned_guide_indices = [0]
공개 체크포인트6,000스텝 중 3,500스텝
LoRA rank / alpha32 / 32
옵티마이저adamw8bit, 1e-4
기본 정밀도INT8 ConvRot
학습 해상도512x512, 73 프레임
스케줄6,000스텝, 배치 1
측정값RTX PRO 6000 Blackwell에서 20.35초/스텝, 33시간 55분

학습 세트는 LTX v2 릴리스에 사용된 것과 동일한 719개의 Blender 장면이며, 어댑터가 워프와 그것이 함의하는 시점 사이의 관계를 학습하도록 다양한 카메라 오프셋으로 렌더링되었습니다.

사용 가능 여부

어댑터는 단일 safetensors 파일로 공개되어 H3 ref2va 체크포인트에 로드됩니다. 릴리스 노트에서는 원본 카메라가 한 번도 본 적 없는 영역이 노드 미리보기에 표시되며, 그곳에 생성될 내용을 참조 이미지나 프롬프트로 조정할 수 있다고 설명합니다.

LoRA: Cseti/MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1
노드: cseti007/ComfyUI-CrossViewWarp
베이스 모델: MiniMaxAI/MiniMax-H3

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…
CrossView-Warp LoRA: MiniMax H3 비디오를 위한 새로운 카메라 앵글 | ComfyUI Wiki