MiniMax H3, 움직임과 오브젝트 일관성을 위한 VBVR LoRA 공개

Licon VBVR은 MiniMax H3용 이미지 기반 비디오 생성 LoRA로, Licon Studio가 10월 23일 공개했습니다(Hugging Face). 이 어댑터는 H3에 맞게 재처리한 VBVR 데이터로 학습되었으며, 하나의 클립이 여러 오브젝트를 시간에 걸쳐 유지해야 할 때 나타나는 실패 유형을 겨냥합니다. 같은 오브젝트가 의도치 않게 복제되는 문제, 몸체가 소품을 뚫고 지나가는 클리핑, 그리고 작업이 잘못된 순서로 일어나는 문제입니다.

프로젝트 자체 검증 클립의 프레임. 출처: Licon VBVR

이번 릴리스에는 6개의 검증 사례가 포함되어 있으며, 각 사례에는 첫 프레임 입력, 정확한 프롬프트, 그리고 동일한 시드에서 LoRA를 적용한 경우와 적용하지 않은 경우를 나란히 렌더링한 쌍이 함께 제공됩니다. 아래 두 사례는 864x480, 384프레임, 각 12.25초입니다.

주방 사례는 초록색 파프리카 하나를 씻고, 조각으로 자르고, 팬으로 옮기되 시퀀스 전체에서 같은 조각을 유지하도록 모델에 요청합니다. 거실 사례는 정해진 순서로 두 가지 이동을 요청합니다. 먼저 잡지를 아래쪽 선반으로, 그다음 파란색 리모컨을 텔레비전 옆으로 옮기고, 다른 모든 오브젝트는 원래 있던 자리에 두어야 합니다. 두 프롬프트 모두 동작을 단계별로 설명하고 추가 오브젝트를 금지하는데, LoRA가 실제로 따라야 하는 것이 바로 이런 종류의 지시입니다.

주방 프롬프트에 기본 MiniMax H3를 적용한 결과.

동일한 프롬프트와 시드에 VBVR LoRA를 로드한 결과.

VBVR이 LoRA에 더하는 것

VBVR(A Very Big Video Reasoning Suite)은 비디오 추론 데이터셋 계열입니다. 검증 가능한 작업을 중심으로 구성된 클립들로, 예를 들어 오브젝트가 가려졌다가 다시 나타나는 동안 추적하기, 규칙에 따라 오브젝트 정렬하기, 형태 시퀀스 이어가기 등이 있으며, 프롬프트가 해당 작업을 정확히 설명합니다. 공개 SFT 분할(VBVR-Pro-SFT-Video)은 이런 클립의 대규모 세트이며, 학습 코드와 벤치마크는 별도 프로젝트입니다.

작성자는 다른 모델의 형식으로 학습하는 대신, 데이터 준비와 전처리를 H3의 학습 방식에 맞게 조정하여 H3 자체 파이프라인에 맞춰 해당 데이터를 재구성했습니다. LoRA 헤더에는 1280x720 해상도에서 7,000스텝에 걸친 434,894개의 학습 항목, rank 16, 코사인 감쇠를 적용한 학습률 5e-05가 기록되어 있으며, 블록당 네 개의 프로젝션만 대상으로 합니다: attn.qkv_proj, attn.out_proj, mlp.fc1, mlp.fc2. 감독은 비디오에만 적용되고 오디오 손실 가중치는 0으로 설정되어, LoRA는 H3가 프레임과 함께 생성하는 오디오 브랜치를 건드리지 않습니다.

어댑터는 149MB로 H3 기준으로는 작은 편이며 rank-16 구성과 일치합니다. 학습 메타데이터에는 minimax_h3_fl2va_bf16.safetensors가 베이스 체크포인트로 명시되어 있으므로, T2VA가 아닌 FL2VA 베이스에 사용해야 합니다.

ComfyUI에서 사용하기

별도로 설치할 것은 없습니다. H3-Licon-VBVR-I2V.safetensors 파일을 ComfyUI/models/loras/에 넣고, H3 이미지 기반 비디오 생성 워크플로의 LoraLoaderModelOnly 노드에서 선택하면 됩니다.

이 파일은 kohya 명명 방식(lora_unet_blocks_0_attn_qkv_proj.lora_up.weight 등)을 사용하는데, ComfyUI 기본 LoRA 로더가 이를 H3 블록 이름에 그대로 매핑하므로 변환 스크립트나 커스텀 노드가 필요 없습니다. 이 프로젝트는 워크플로 JSON을 게시하지 않습니다. 기존 H3 첫 프레임 워크플로라면 무엇이든 동작하며, LoRA는 일반적인 모델 패치로 적용됩니다.

한계

비교는 정성적이며 작성자가 제공한 것입니다. 벤치마크 표도, LoRA 강도에 대한 절제 실험도 없으므로, 낮은 강도에서 효과가 어디까지 유지되는지는 문서화되어 있지 않습니다. 6개의 검증 클립은 모두 864x480의 사실적인 실내 장면에 하나 또는 두 개의 조작 대상 오브젝트를 담고 있어, 학습 세트의 작업 구성보다 범위가 좁습니다. 다른 H3 LoRA와 마찬가지로 오디오 브랜치는 건드리지 않으므로, 사운드는 베이스 모델이 생성하는 그대로입니다.

사용 가능 여부

LoRA는 6개의 검증 쌍과 해당 프롬프트 전부와 함께 Hugging Face에 공개되어 있습니다. 같은 연구소는 이전에 LTX-2.3 VBVR LoRA와 ComfyUI에서 바로 쓸 수 있는 Wan 2.2 VBVR 빌드를 게시했으며, 올해 초에는 Licon MSR-v2에서 다룬 MSR-v2 다중 피사체 참조 LoRA를 공개했습니다.