PAN 2: 29B модель мира от MBZUAI в ComfyUI, клипы по 20 секунд

PAN 2 это 29B модель мира от Institute of Foundation Models при MBZUAI. Опишите действие текстом, при желании передайте начальный кадр, и модель симулирует, что произойдёт дальше, одним клипом длиной до 20 секунд в разрешении 704x1248 при 24 fps. Она была анонсирована 10 ноября: веса, код вывода и конфиги обучения уже в репозитории, а нода ComfyUI от сообщества появилась на следующий день.

Один кадр из официального демо-клипа. Источник: IFM/PAN2

26 секунд официального демо, перекодировано в 1280x720. Источник: IFM/PAN2

Как это работает

Две модели работают по очереди. Замороженная LLM, названная концептуальным рассуждателем (conceptual reasoner), переписывает ваш запрос в структурированное описание состояния мира: события с временными диапазонами, действия, привязанные к актёрам, движения камеры. Затем 29B MMDiT предсказывает латенты видео, которые дополняют детали, оставленные описанием открытыми, а стандартный Wan 2.2 VAE их декодирует.

Текстовый энкодер это Qwen3.5-9B, он остаётся замороженным, поэтому вы настраиваете промпт, а не модель.

Два бэкбона и замороженные энкодер и декодер. Источник: IFM/PAN2

В ComfyUI

Официальных нод пока нет, но ComfyUI-PAN2 это работающий порт, опубликованный 11 ноября: чистый PyTorch с SDPA, поэтому он работает и на Windows. Он загружает веса в раскладке diffusers напрямую.

• Модель диффузии: bf16 transformer/ из IFM/PAN2 или 33.7 GB fp8-репак от сообщества zombothe26/pan2-fp8.
• VAE: стандартный Wan 2.2 VAE в ComfyUI.
• Текстовый энкодер: Qwen/Qwen3.5-9B.
• Граф: PAN2 Model Loader и PAN2 Prompt Builder подают данные в PAN2 Text Encode (Qwen3.5), затем PAN2 Sampler передаёт результат в стандартные ноды декодирования VAE и создания видео с 24 fps.

Значения по умолчанию совпадают с официальными: 50 шагов, CFG 2.5, shift 9, 704x1248, 241 кадр. Автор ноды измерил связный клип 448x256, 13 кадров, 16 шагов примерно за 65 с на 5090 и 129 с на 4090, при этом веса хранятся в RAM, а 44 блока по одному подгружаются на GPU.

Форматирование промпта здесь не опционально. PAN 2 обучалась на структурированных описаниях, и однострочный промпт с пустым негативом даёт пересвеченные, размытые клипы. Используйте встроенный PAN2 Prompt Builder, чтобы заполнить поля сцены, события, субъекта, освещения, точки обзора и стиля до выборки.

Что измеряет отчёт

В техническом отчёте оцениваются шесть возможностей симуляции и многошаговые планы, затем три публичных бенчмарка: Physics-IQ Verified для image-to-video, PhyGround и RBench. Слепое исследование с людьми добавляет 1400 попарных сравнений по 140 промптам с оценкой в Elo.

Точность по возможностям и выполнение многошаговых планов, PAN 2 выделена. Источник: IFM/PAN2

Авторы прямо говорят о слабом месте: примерно в двух из трёх симулированных многошаговых планов есть хотя бы один шаг, который модель не выполняет. Кроме того, каждый клип симулируется максимум из одного начального кадра плюс текста, поэтому внешний вид дрейфует на длинной последовательности.

Пример симулятивного рассуждения из отчёта. Источник: IFM/PAN2

Официальный путь

Вне ComfyUI PAN 2 поставляется с pipeline Diffusers (pan2), рецептом vLLM и generate.py, который один раз конвертирует checkpoint и запускает по одному воркеру на GPU. В том же репозитории лежат конфиги претрейна и SFT, так что рецепт обучения воспроизводим.

Скачать веса PAN 2