PAN 2: MBZUAIの29B世界モデルがComfyUIに登場、20秒クリップを生成

PAN 2 は、MBZUAIのInstitute of Foundation Modelsが公開した29Bの世界モデルです。テキストで行動を記述し、必要なら開始フレームを渡すだけで、その後に起こることを704x1248・24 fpsの最大20秒の1本のクリップとしてシミュレーションします。11月10日に発表され、重み、推論コード、トレーニング設定はすでにリポジトリに含まれていました。翌日にはコミュニティ製のComfyUIノードも登場しています。

公式デモクリップの1フレーム。ソース: IFM/PAN2

公式デモの26秒を1280x720で再エンコードしたもの。ソース: IFM/PAN2

仕組み

2つのモデルが交互に働きます。conceptual reasoner（概念推論器）と呼ばれる凍結済みのLLMが、リクエストを構造化された世界状態キャプションに書き換えます。時間範囲を持つイベント、アクターに紐づく操作、カメラの動きなどです。続いて29BのMMDiTが、キャプションが省略した詳細を補う動画latentを予測し、標準のWan 2.2 VAEがそれをデコードします。

テキストエンコーダーはQwen3.5-9Bで、これも凍結されたままです。つまり調整するのはモデルではなくプロンプトになります。

2つのバックボーンと、凍結されたエンコーダー／デコーダー。ソース: IFM/PAN2

ComfyUIでの使い方

公式ノードはまだありませんが、11月11日に公開されたComfyUI-PAN2が動作する移植版です。純粋なPyTorchとSDPAで実装されているため、Windowsでも動作します。diffusersレイアウトの重みを直接読み込みます。

• Diffusionモデル: IFM/PAN2のbf16 transformer/、または33.7 GBのコミュニティ製fp8再パッケージzombothe26/pan2-fp8。
• VAE: ComfyUIに同梱されている標準のWan 2.2 VAE。
• テキストエンコーダー: Qwen/Qwen3.5-9B。
• グラフ: PAN2 Model Loader と PAN2 Prompt Builder が PAN2 Text Encode (Qwen3.5) に入力し、PAN2 Sampler からコアのVAEデコードと24 fpsの動画を作成につながります。

デフォルト値は公式と同じです。50ステップ、CFG 2.5、shift 9、704x1248、241フレーム。ノードの作者は、重みをRAMに保持し44ブロックを1つずつGPUにスワップする構成で、448x256・13フレーム・16ステップの破綻のないクリップを5090で約65秒、4090で129秒で計測しています。

ここではプロンプトの書式は必須です。PAN 2は構造化キャプションでトレーニングされているため、ネガティブが空の1行プロンプトでは、白飛びしたぼやけたクリップになります。サンプリングの前に、同梱の PAN2 Prompt Builder を使ってシーン、イベント、被写体、ライティング、視点、スタイルの各フィールドを記述してください。

テクニカルレポートの評価内容

テクニカルレポートでは、6つのシミュレーション能力とマルチステップ計画をベンチマークし、さらに3つの公開ベンチマーク（画像から動画へ向けたPhysics-IQ Verified、PhyGround、RBench）で評価しています。加えて盲検の人手評価として、140個のプロンプトに対する1,400組のペア比較をEloスコアで評価しています。

能力の正解率とマルチステップ計画の完了率（PAN 2を強調）。ソース: IFM/PAN2

著者らは弱点について率直に述べています。シミュレーションされたマルチステップ計画の約3分の2に、モデルが実行しないステップが少なくとも1つ含まれています。また、各クリップは最大1枚の開始フレームとテキストからシミュレーションされるため、長いシーケンスでは外観がドリフトします。

レポートに掲載されたシミュレーティブ推論の例。ソース: IFM/PAN2

公式の利用方法

ComfyUI以外では、PAN 2はDiffusersのpipeline（pan2）、vLLMのレシピ、そしてチェックポイントを一度変換してGPUごとに1ワーカーを実行する generate.py を提供しています。同じリポジトリに事前学習とSFTの設定も含まれているため、トレーニングのレシピは再現可能です。

PAN 2の重みをダウンロード