PAN 2: ComfyUI에서 만나는 MBZUAI의 29B 월드 모델, 20초 클립

PAN 2는 MBZUAI 산하 Institute of Foundation Models(IFM)이 만든 29B 월드 모델입니다. 텍스트로 동작을 설명하고 원한다면 시작 프레임을 함께 넘기면, 그다음에 벌어지는 일을 최대 20초, 704x1248, 24 fps의 단일 클립으로 시뮬레이션합니다. 11월 10일 가중치와 추론 코드, 학습 config까지 저장소에 포함된 상태로 발표되었고, 다음 날 커뮤니티 ComfyUI 노드가 등장했습니다.

공식 데모 클립의 한 프레임. 소스: IFM/PAN2

공식 데모 중 26초 분량을 1280x720으로 재인코딩한 영상. 소스: IFM/PAN2

작동 방식

두 모델이 번갈아 작동합니다. '개념적 추론기(conceptual reasoner)'라고 불리는 동결된 LLM이 요청을 구조화된 월드 상태 캡션으로 다시 씁니다. 시간 범위가 지정된 이벤트, 행위자에 연결된 작업, 카메라 무브가 여기에 담깁니다. 이어서 29B MMDiT가 캡션이 비워둔 세부 정보를 채우는 비디오 latent를 예측하고, 기본 제공되는 Wan 2.2 VAE가 이를 디코드합니다.

텍스트 인코더는 Qwen3.5-9B이며 동결된 상태로 유지됩니다. 따라서 조정할 대상은 모델이 아니라 프롬프트입니다.

두 백본과 동결된 인코더 및 디코더. 소스: IFM/PAN2

ComfyUI에서 사용하기

아직 공식 노드는 없지만, 11월 11일 공개된 ComfyUI-PAN2는 실제로 동작하는 포팅입니다. 순수 PyTorch에 SDPA를 사용하므로 Windows에서도 실행됩니다. diffusers 레이아웃 가중치를 그대로 로드합니다.

• Diffusion 모델: IFM/PAN2의 bf16 transformer/, 또는 33.7 GB 커뮤니티 fp8 리팩 zombothe26/pan2-fp8.
• VAE: ComfyUI에 기본 포함된 Wan 2.2 VAE.
• 텍스트 인코더: Qwen/Qwen3.5-9B.
• 그래프: PAN2 Model Loader와 PAN2 Prompt Builder가 PAN2 Text Encode (Qwen3.5)로 입력을 넘기고, 이어서 PAN2 Sampler가 코어 VAE 디코드와 24 fps 비디오 생성으로 연결됩니다.

기본값은 공식 설정과 동일합니다: 50 스텝, CFG 2.5, shift 9, 704x1248, 241 프레임. 노드 작성자는 가중치를 RAM에 두고 44개 블록을 한 번에 하나씩 GPU로 스왑하는 조건에서, 448x256, 13프레임, 16스텝의 일관된 클립이 5090에서 약 65초, 4090에서 약 129초에 생성되는 것을 측정했습니다.

여기서 프롬프트 포맷은 선택 사항이 아닙니다. PAN 2는 구조화된 캡션으로 학습되었기 때문에, 빈 네거티브와 한 줄짜리 프롬프트를 쓰면 날아가고 뭉개진 클립이 나옵니다. 샘플링 전에 함께 제공되는 PAN2 Prompt Builder로 장면, 이벤트, 피사체, 조명, 시점, 스타일 필드를 작성하세요.

리포트가 측정하는 것

기술 리포트는 여섯 가지 시뮬레이션 능력과 다단계 계획을 벤치마크하고, 이어서 세 가지 공개 벤치마크를 평가합니다: 이미지 기반 비디오 생성용 Physics-IQ Verified, PhyGround, RBench입니다. 블라인드 인간 평가로 140개 프롬프트에 대한 1,400쌍의 비교를 추가해 Elo로 점수를 매겼습니다.

능력 정확도와 다단계 계획 완수율, PAN 2 강조 표시. 소스: IFM/PAN2

저자들은 약점을 솔직하게 밝힙니다. 시뮬레이션된 다단계 계획 세 개 중 약 두 개에 모델이 수행하지 않는 단계가 최소 한 개 포함되어 있습니다. 또한 각 클립은 최대 한 개의 시작 프레임과 텍스트로만 시뮬레이션되므로, 긴 시퀀스에 걸쳐 모양이 흐트러집니다.

리포트에 수록된 시뮬레이션 추론 예시. 소스: IFM/PAN2

공식 경로

ComfyUI 외부에서 PAN 2는 Diffusers 파이프라인(pan2), vLLM 레시피, 그리고 체크포인트를 한 번 변환한 뒤 GPU마다 워커 하나를 실행하는 generate.py를 제공합니다. 같은 저장소에 pretrain 및 SFT config가 있어 학습 레시피를 재현할 수 있습니다.

PAN 2 가중치 다운로드