PAN 2 corre nativo en ComfyUI: int8, 26.7 GB, 241 fotogramas

ComfyUI Wikinews

PAN 2, el modelo de mundo de 29B de MBZUAI, ya carga en ComfyUI gracias al PR central de Kijai: pesos int8 de 26.7 GB y 241 fotogramas a 15.2 s/paso en una RTX 5090.

PAN 2 ya no necesita un nodo personalizado. El PR #17755 se fusionó en el núcleo de ComfyUI el 15 de noviembre, así que el modelo de mundo de 29B de MBZUAI carga mediante los nodos integrados UNETLoader y CLIPLoader, y la conversión de imagen a vídeo reutiliza el nodo latente estándar de Wan 2.2. La compilación int8 ocupa 26.7 GB, y un clip de 241 fotogramas se muestrea a 15.2 s/paso en una RTX 5090.

Un fotograma del clip int8 de PAN 2

Un fotograma de la muestra int8 de 241 fotogramas adjunta al PR del núcleo. Fuente: Comfy-Org/ComfyUI #17755

El clip completo de 241 fotogramas, 2880x1172 a 24 fps, recodificado a 960 px de ancho. Fuente: Comfy-Org/ComfyUI #17755

Qué cambia con el soporte en el núcleo

  • Codificador de texto: CLIPLoader incorpora un tipo pan2. Ejecuta el Qwen3.5-9B estándar y toma la capa 30 de 32 sin la normalización final, y luego recorta el tramo del texto tras el turno del sistema.
  • Imagen a vídeo: el acondicionamiento transporta [latent * known, known] desde latent_image y denoise_mask, de modo que el nodo existente Wan 2.2 imagen a latente de video controla el primer fotograma.
  • int8 más pequeño: los 44 lineales adaLN por bloque solo leen silu(temb(t)), así que el checkpoint puede incluir una tabla de curvas de 4097x192 en lugar del embedder temporal. El error de modulación se mantiene en 1.3e-4 y el archivo int8 baja de 30.4 GB a 26.7 GB.
  • Menor pico de activaciones: la FFN del vídeo se ejecuta en fragmentos de tokens, con salida idéntica bit a bit, y el pico cae de 12.5 GB a 3.8 GB con 241 fotogramas.

Los valores predeterminados coinciden con el código de los autores: 50 pasos, euler/simple, CFG 2.5, 24 fps, shift 9.

Archivos que descargar

Todo proviene del repack Comfy-Org/PAN2, como archivos individuales para las carpetas de modelos estándar.

ArchivoTamaño
diffusion_models/pan2_int8_convrot.safetensors26.7 GB
diffusion_models/pan2_bf16.safetensors67.4 GB
text_encoders/qwen3.5_9b_int8_convrot.safetensors9.8 GB
text_encoders/qwen3.5_9b_bf16.safetensors19.3 GB
vae/wan2.2_vae.safetensors1.4 GB

Velocidad

En la misma RTX 5090, con 241 fotogramas: 15.2 s/paso con pesos int8 y atención int8 en los bloques conjuntos, frente a 26.8 s/paso de la compilación densa. El autor del PR comparó visualmente clips con la misma semilla e informa que el error de velocidad coincide entre los pesos int8 y bf16. BlockSparseAttention y EasyCache funcionan encima sin cambios.

Los prompts todavía necesitan estructura

PAN 2 se entrenó con leyendas JSON estructuradas. Un prompt de una sola línea devuelve ruido, incluido el ejemplo de una línea del propio modelo, así que escribe los campos de escena, evento, sujeto, iluminación, punto de vista y estilo antes de muestrear. El prompt del sistema del reescritor de prompts puede ejecutarse mediante TextGenerateV2 sobre el mismo archivo de codificador de texto, lo que mantiene la reescritura dentro de un solo gráfico.

Cómo obtenerlo

Todavía no hay una plantilla de flujo de trabajo oficial para PAN 2, así que el gráfico se construye a mano: UNETLoader → CLIPLoader (pan2) → CLIPTextEncode, más Wan 2.2 imagen a latente de video para imagen a vídeo, y luego KSampler → VAEDecode → CreateVideo.

La función se fusionó después de la versión actual, por lo que solo está disponible en compilaciones más recientes que la v0.45.0. Para la ruta anterior con nodo personalizado y los archivos originales del modelo, consulta nuestro reportaje sobre PAN 2 del 10 de noviembre.

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
PAN 2 corre nativo en ComfyUI: int8, 26.7 GB, 241 fotogramas | ComfyUI Wiki