Los LoRAs PTD de MiniMax H3 reducen Ref2VA a 8 o 4 pasos

PTD significa Destilación de Trayectoria Paramétrica, publicada como arXiv 2610.11498 por Lan Feng y coautores de EPFL, NVIDIA y Stanford, con una página del proyecto cuyo vídeo se genera íntegramente en MiniMax H3. El artículo destila el modelo conjunto de audio y vídeo de 33B, muestreado en 50 pasos, en un estudiante de cuatro o seis pasos usando tan solo un LoRA y supervisión de trayectoria.

Lo que estos dos repositorios añaden es la mitad Ref2VA de esa historia: imágenes de referencia de entrada, vídeo más audio de salida, con 8 o 4 evaluaciones del transformer.

Cómo funcionan los adaptadores

La publicación anterior del equipo, PDD (MiniMax-H3-Acc-LoRAs), reemplazó la única cabeza de salida del modelo base por un banco de cabezas por intervalo. PTD conserva ese banco y entrena un adaptador de bajo rango independiente por cada paso de inferencia, un LoRA "por salto" sobre el backbone de difusión, de modo que cada salto selecciona su propio adaptador y fusiona su propia cabeza. Un checkpoint de 8 saltos se ejecuta por tanto en 8 evaluaciones del transformer y uno de 4 saltos en 4.

Cada checkpoint lleva su propia configuración en los metadatos del safetensors (ptd_num_hops, pdd_num_steps=32, pdd_block_size, lora_rank, lora_alpha, lora_targets). El apply_ptd_lora proporcionado lee esos metadatos y deriva el número de pasos por sí mismo, y por eso no existe un control deslizante de pasos en los nodos de ComfyUI: la rejilla sigma es una propiedad del checkpoint.

Qué muestran las demos

La tarjeta de PTD reutiliza tres casos de los ejemplos de MiniMax-H3-Turbo (pelea junto a la piscina, enfrentamiento en el almacén, motocicleta saliendo de un monitor) y los compara con el modelo Ref2VA base, el LoRA Turbo de 4 pasos y la versión PDD de 8 pasos. Las imágenes de referencia, los prompts y un script predict_ref2v.py se incluyen en el repositorio, así que cada columna es reproducible.

La tarjeta de RefAsymOPD va más allá y publica cinco casos nuevos a 768×1344, 124 fotogramas y 24 fps con audio, con cada fila comparando el modelo base de 40 pasos como techo de calidad, la versión PDD de 8 pasos, una pasada PTD simple de 8 saltos y la pasada RefAsymOPD de 8 saltos. La afirmación que la acompaña es limitada: mejor plausibilidad del fondo, nitidez y realismo que el PTD simple con el mismo número de pasos, sin coste adicional, porque el checkpoint es estructuralmente idéntico a un LoRA PTD simple y se intercambia sin cambios de código.

Un fotograma de cada una de las cuatro columnas del caso de demostración sample-0, tomado del mismo punto del clip: base a 40 pasos, PDD 8 pasos, PTD 8 pasos y PTD + RefAsymOPD 8 pasos.

El clip completo RefAsymOPD de 8 pasos para sample-0, con su audio generado. La imagen de portada es un fotograma de dos paneles de otro caso (sample-2).

Ejecutarlo en ComfyUI

Ambos repositorios incluyen el mismo paquete de nodos personalizados, comfyui_node/ComfyUI-MiniMaxH3-PTD/. No reimplementa el muestreo PTD por sí mismo: reutiliza la maquinaria de hooks de los nodos ComfyUI-PTD upstream y reemplaza solo el cargador, la rejilla de saltos y las cabezas de salida. Esa separación existe porque el upstream acepta checkpoints de 4 y 6 saltos y espera deltas por salto sobre la cabeza de salida base, mientras que estos adaptadores son de 4 y 8 saltos y se entrenaron sobre el banco de cabezas por intervalo de PDD.

Configuración, según la documentación del paquete:

1. Instala el ComfyUI-PTD upstream (rama release/comfyui-inference) en custom_nodes/ y ejecuta pip install -e sobre él. Su módulo ptd_comfy importa un paquete hermano ptd, así que una clonación simple falla al importar.
2. Copia ComfyUI-MiniMaxH3-PTD del repositorio a custom_nodes/.
3. Coloca los checkpoints de los adaptadores en ComfyUI/models/ptd/.
4. Convierte el modelo base tú mismo: estos adaptadores necesitan el transformer_ref/ original, sin podar de MiniMaxAI/MiniMax-H3, convertido con scripts/convert_comfy_base.py. Los modelos base podados, Turbo, PDD y cuantizados no son válidos explícitamente.
5. Inicia ComfyUI con --disable-dynamic-vram.

El codificador de texto (qwen3vl_32b_minimax_h3_bf16) y los VAE de vídeo y audio provienen de Comfy-Org/MiniMax-H3. Incluido el modelo base, el conjunto completo de pesos ronda los 140 GB.

El gráfico es corto: Cargar modelo de difusión, después Cargar adaptadores PTD de MiniMax-H3, luego los nodos Muestreador PTD y Sigmas PTD que alimentan SamplerCustomAdvanced, con el condicionamiento a través de MiniMax H3 Referencia a Video, y después separar el latente AV y decodificar vídeo y audio. En el repositorio se incluye un flujo de trabajo de ejemplo en formato API, uno por versión, y el README advierte de que sus imágenes de referencia deben copiarse primero de asset/ a ComfyUI/input/.

Los autores reportan una validación de extremo a extremo a través de la cola HTTP de ComfyUI en ambos checkpoints PTD: exactamente 8 y 4 evaluaciones del transformer en los puntos definidos por el checkpoint, 1344×768, 243 fotogramas, 24 fps y audio estéreo a 32 kHz, coincidiendo con el script de Diffusers en escena, identidad y estructura de audio. Las mismas semillas no reproducen la salida de Diffusers bit a bit, porque los dos front ends generan el ruido inicial de forma distinta. El stack probado fue ComfyUI 5cc4b87, ComfyUI-PTD 43ae22c y PyTorch 2.13.0+cu130 en una única H20-3e.

Soluciones de la comunidad

Como los adaptadores requieren el modelo base sin podar de 140 GB, la primera respuesta de la comunidad fue hacerlos caber en configuraciones más pequeñas. Un día después del lanzamiento de PTD, un cargador compacto (ComfyUI-PTD-Compact, creado el 22 de octubre) añadió soporte para modelos base podados y cuantizados junto con versiones int8 del adaptador de 4 pasos, y los usuarios de Banodoco han estado publicando las primeras imágenes fijas y clips de esas conversiones. La compilación int8 de 8 pasos se ejecuta en unos 14 segundos por imagen fija a 4 MP en la tarjeta de ese autor.

Disponibilidad

Ambos conjuntos de adaptadores están en Hugging Face: MiniMax-H3-PTD-LoRAs para el par de 8 y 4 pasos, y MiniMax-H3-PTD-RefAsymOPD-LoRAs para la variante RefAsymOPD. La inferencia fuera de ComfyUI se ejecuta mediante el pipeline modular de Diffusers de MiniMax-H3 con diffusers >= 0.40.0 y el flujo de trabajo ref2va.