PAN 2 : le modèle du monde 29B de MBZUAI arrive dans ComfyUI

PAN 2 est un modèle du monde de 29B de l'Institute of Foundation Models de MBZUAI. Décrivez une action en texte, fournissez-lui éventuellement une image de départ, et il simule la suite sous forme d'un clip pouvant atteindre 20 secondes en 704x1248 à 24 fps. Il a été annoncé le 10 novembre avec les poids, le code d'inférence et les configurations d'entraînement déjà dans le référentiel, et un nœud ComfyUI communautaire est apparu le lendemain.

Une image du clip de démonstration officiel. Source : IFM/PAN2

26 secondes de la démo officielle, réencodées en 1280x720. Source : IFM/PAN2

Fonctionnement

Deux modèles se relaient. Un LLM figé, appelé raisonneur conceptuel, réécrit votre requête sous la forme d'une légende structurée de l'état du monde : des événements avec des plages temporelles, des actions liées à des acteurs, des mouvements de caméra. Le MMDiT de 29B prédit ensuite les latents vidéo qui comblent les détails que la légende laisse ouverts, et un VAE Wan 2.2 standard les décode.

L'encodeur de texte est Qwen3.5-9B et il reste figé : ce que vous ajustez, c'est le prompt, pas le modèle.

Les deux backbones ainsi que l'encodeur et le décodeur figés. Source : IFM/PAN2

Dans ComfyUI

Il n'existe pas encore de nœuds officiels, mais ComfyUI-PAN2 est un port fonctionnel publié le 11 novembre : du PyTorch pur avec SDPA, qui fonctionne donc aussi sous Windows. Il charge directement les poids au format diffusers.

• Modèle de diffusion : transformer/ en bf16 depuis IFM/PAN2, ou le repack fp8 communautaire de 33,7 Go zombothe26/pan2-fp8.
• VAE : le VAE Wan 2.2 standard de ComfyUI.
• Encodeur de texte : Qwen/Qwen3.5-9B.
• Graphique : PAN2 Model Loader et PAN2 Prompt Builder alimentent PAN2 Text Encode (Qwen3.5), puis PAN2 Sampler passe au VAE Decode et à Créer une vidéo à 24 fps du cœur de ComfyUI.

Les valeurs par défaut correspondent aux valeurs officielles : 50 étapes, CFG 2,5, shift 9, 704x1248, 241 images. L'auteur du nœud a mesuré un clip cohérent de 448x256, 13 images et 16 étapes en environ 65 s sur une 5090 et 129 s sur une 4090, les poids restant en RAM et 44 blocs étant échangés vers le GPU un à la fois.

Le formatage du prompt n'est pas optionnel ici. PAN 2 a été entraîné sur des légendes structurées, et un prompt d'une seule ligne accompagné d'un négatif vide donne des clips surexposés et flous. Utilisez le PAN2 Prompt Builder fourni pour renseigner les champs scène, événement, sujet, éclairage, point de vue et style avant l'échantillonnage.

Ce que mesure le rapport

Le rapport technique évalue six capacités de simulation et des plans multi-étapes, puis trois benchmarks publics : Physics-IQ Verified pour l'image-vers-vidéo, PhyGround et RBench. Une étude humaine en aveugle ajoute 1 400 comparaisons par paires sur 140 prompts, notées en Elo.

Précision des capacités et achèvement des plans multi-étapes, PAN 2 mis en évidence. Source : IFM/PAN2

Les auteurs sont directs sur le point faible : environ deux plans multi-étapes simulés sur trois contiennent au moins une étape que le modèle n'exécute pas. Chaque clip est aussi simulé à partir d'au plus une image de départ plus du texte, ce qui fait dériver l'apparence sur une longue séquence.

Un exemple de raisonnement simulé tiré du rapport. Source : IFM/PAN2

Voie officielle

En dehors de ComfyUI, PAN 2 fournit un pipeline Diffusers (pan2), une recette vLLM et un generate.py qui convertit le checkpoint une fois et lance un worker par GPU. Le même référentiel contient les configurations de pré-entraînement et de SFT, la recette d'entraînement est donc reproductible.