H3-World: MiniMax H3 기반 키보드 제어형 인터랙티브 월드 모델

H3-World 는 단일 첫 번째 프레임에서 액션 제어 비디오를 생성합니다: 캐릭터 움직임은 WASD 로, 카메라 움직임은 IJKL 로 조절됩니다.

비디오 모델 위에 구축된 월드 모델

H3-World 는 텐센트, 싱가포르 국립대학교, 홍콩 폴리테크닉대학교의 저자들이 MiniMax H3 위에 구축된 최초의 인터랙티브 월드 모델이라고 설명합니다. 고정된 클립을 생성하는 대신 초기 프레임과 키보드 컨트롤을 받아들이고, 입력에 따라 캐릭터가 걷고 카메라가 움직이는 비디오를 생성하며, 논문은 arXiv 에서 확인 가능합니다.

핵심은 게임 스타일 컨트롤과 비디오 모델 사이의 번역 레이어입니다. H3-World 는 각 키보드 상태를 미래 비디오 latent 마다 하나의 언어 명령어로 변환한 후, 지향적 어텐션 라우팅을 사용하여 모든 명령어를 해당 latent 구간과 연결합니다. 캐릭터 컨트롤에는 W, A, S, D 를 사용하고, 카메라 컨트롤에는 I, J, K, L 을 사용하며, 빠른 카메라 운동에는 F 를 사용합니다. 프리셋에는 정지, 전진, 후진, 좌우 스트라이프, 상하 틸트 및 좌우 팬이 포함되며 빠른 팬도 포함됩니다.

작은 어댑터, 큰 백본

학습은 ABot-World-Explorer-500h 데이터셋의 8,000 개 게임플레이 클립을 사용합니다. 결과는 33B MiniMax H3 백본의 0.199% 에 불과한 65.6M 파라미터의 랭크 32 LoRA이며, Apache 2.0 라이선스로 step-10000.safetensors 로 출시되었습니다.

실행 방법

LoRA 만으로는 충분하지 않습니다: 저자들은 수정되지 않은 MiniMax H3 파이프라인을 통해 체크포인트를 로딩 중에도 보고된 동작을 재현할 수 없다고 명시했습니다. 출시된 체크포인트는 MiniMax H3 베이스 가중치 (약 135 GB) 와 공식 H3-World 코드 저장소가 필요하며, 이는 고정된 DiffSynth-Studio 리비전에 지향적 어텐션 패치를 적용합니다. 추론은 첫 번째 프레임과 장면 프롬프트를 받아 액션 프리셋 (또는 원본 키 상태) 을 개별 latent 명령어로 매핑하여 기본적으로 832x480 해상도로 5.2 초 클립을 생성합니다.

135 GB 다운로드를 결정하기 이전에 키보드 구동 제어 루프를 보고 싶다면 hugging-apps/h3-world-action-demo 에서 인터랙티브 데모 스페이스를 사용할 수 있습니다.