Les LoRAs PTD de MiniMax H3 ramènent Ref2VA à 8 ou 4 étapes

PTD signifie Parametric Trajectory Distillation, publié sous arXiv 2610.11498 par Lan Feng et ses co-auteurs de l'EPFL, de NVIDIA et de Stanford, avec une page projet dont le film est entièrement généré sur MiniMax H3. L'article distille le modèle conjoint audio-vidéo de 33B, échantillonné en 50 étapes, en un modèle étudiant à quatre ou six étapes, en n'utilisant rien d'autre qu'un LoRA et une supervision de trajectoire.

Ce que ces deux référentiels ajoutent, c'est la moitié Ref2VA de cette histoire : des images de référence en entrée, de la vidéo et de l'audio en sortie, en 8 ou 4 évaluations du transformer.

Comment fonctionnent les adaptateurs

La publication PDD antérieure de l'équipe (MiniMax-H3-Acc-LoRAs) a remplacé la tête de sortie unique du modèle de base par une banque de têtes par intervalle. PTD conserve cette banque et entraîne un adaptateur low-rank indépendant par étape d'inférence, un LoRA « par saut » sur le backbone de diffusion, de sorte que chaque saut sélectionne son propre adaptateur et fusionne sa propre tête. Un checkpoint à 8 sauts s'exécute donc en 8 évaluations du transformer, et un checkpoint à 4 sauts en 4.

Chaque checkpoint porte sa propre configuration dans les métadonnées safetensors (ptd_num_hops, pdd_num_steps=32, pdd_block_size, lora_rank, lora_alpha, lora_targets). Le script apply_ptd_lora fourni lit ces métadonnées et déduit lui-même le nombre d'étapes, ce qui explique l'absence de curseur d'étapes dans les nœuds ComfyUI : la grille de sigma est une propriété du checkpoint.

Ce que montrent les démos

La fiche PTD réutilise trois cas des exemples MiniMax-H3-Turbo (combat au bord de la piscine, confrontation dans un entrepôt, moto sortant d'un moniteur) et les aligne face au modèle de base Ref2VA, au LoRA Turbo à 4 étapes et à la publication PDD à 8 étapes. Les images de référence, les prompts et un script predict_ref2v.py sont fournis dans le référentiel, si bien que chaque colonne est reproductible.

La fiche RefAsymOPD va plus loin et publie cinq nouveaux cas en 768×1344, 124 images, 24 fps avec audio, chaque ligne comparant la base à 40 étapes comme plafond de qualité, la publication PDD à 8 étapes, une passe PTD simple à 8 sauts et la passe RefAsymOPD à 8 sauts. L'affirmation qui l'accompagne reste limitée : une meilleure plausibilité de l'arrière-plan, une meilleure netteté et un meilleur réalisme que le PTD simple à nombre d'étapes identique, sans coût supplémentaire, car le checkpoint est structurellement identique à un LoRA PTD simple et se substitue sans modification de code.

Une image de chacune des quatre colonnes du cas de démonstration sample-0, prise au même point du clip : base à 40 étapes, PDD 8 étapes, PTD 8 étapes et PTD + RefAsymOPD 8 étapes.

Le clip complet RefAsymOPD à 8 étapes pour sample-0, avec son audio généré. L'image de couverture est une image à deux panneaux issue d'un autre cas (sample-2).

L'exécuter dans ComfyUI

Les deux référentiels fournissent le même pack de nœuds personnalisé, comfyui_node/ComfyUI-MiniMaxH3-PTD/. Il ne réimplémente pas l'échantillonnage PTD lui-même : il réutilise la mécanique de hooks des nœuds ComfyUI-PTD en amont et ne remplace que le chargeur, la grille de sauts et les têtes de sortie. Cette séparation existe parce que la version amont accepte des checkpoints à 4 et 6 sauts et attend des deltas par saut sur la tête de sortie de base, alors que ces adaptateurs font 4 et 8 sauts et ont été entraînés par-dessus la banque de têtes par intervalle de PDD.

L'installation, telle que documentée par le pack :

1. Installez la version amont de ComfyUI-PTD (branche release/comfyui-inference) dans custom_nodes/ et exécutez pip install -e dessus. Son module ptd_comfy importe un paquet ptd voisin, donc un simple clonage échoue à l'import.
2. Copiez ComfyUI-MiniMaxH3-PTD depuis le référentiel dans custom_nodes/.
3. Placez les checkpoints des adaptateurs dans ComfyUI/models/ptd/.
4. Convertissez vous-même la base : ces adaptateurs ont besoin du transformer_ref/ d'origine, non élagué de MiniMaxAI/MiniMax-H3, converti avec scripts/convert_comfy_base.py. Les bases élaguées, Turbo, PDD et quantifiées ne sont explicitement pas valides.
5. Démarrez ComfyUI avec --disable-dynamic-vram.

L'encodeur de texte (qwen3vl_32b_minimax_h3_bf16) ainsi que les VAE vidéo et audio proviennent de Comfy-Org/MiniMax-H3. Base incluse, l'ensemble des poids représente environ 140 GB.

Le graphique est court : Charger Modèle Diffusion, puis Load MiniMax-H3 PTD Adapters, puis les nœuds PTD Sampler et PTD Sigmas alimentant ÉchantillonneurPersonnaliséAvancé, conditionnés via MiniMax H3 Référence vers Vidéo, puis séparer le latent AV et décoder la vidéo et l'audio. Un flux de travail d'exemple au format API est fourni dans le référentiel, un par version, et le README avertit que ses images de référence doivent d'abord être copiées de asset/ vers ComfyUI/input/.

Les auteurs rapportent une validation de bout en bout via la file d'attente HTTP de ComfyUI sur les deux checkpoints PTD : exactement 8 et 4 évaluations du transformer aux points nodaux du checkpoint, 1344×768, 243 images, 24 fps et audio stéréo 32 kHz, correspondant au script Diffusers en termes de scène, d'identité et de structure audio. Les mêmes graines ne reproduisent pas la sortie Diffusers au bit près, car les deux interfaces tirent le bruit initial différemment. La pile testée était ComfyUI 5cc4b87, ComfyUI-PTD 43ae22c et PyTorch 2.13.0+cu130 sur un seul H20-3e.

Contournements de la communauté

Comme les adaptateurs exigent la base non élaguée de 140 GB, la première réaction de la communauté a été de les faire tenir sur des configurations plus modestes. Un jour après la sortie de PTD, un chargeur compact (ComfyUI-PTD-Compact, créé le 22 octobre) a ajouté la prise en charge des bases élaguées et quantifiées, ainsi que des versions int8 de l'adaptateur à 4 étapes, et les utilisateurs de Banodoco ont publié leurs premières images fixes et leurs premiers clips issus de ces conversions. La version int8 à 8 étapes tourne à environ 14 secondes par image fixe en 4 MP sur la carte de cet auteur.

Disponibilité

Les deux ensembles d'adaptateurs sont sur Hugging Face : MiniMax-H3-PTD-LoRAs pour la paire 8 étapes et 4 étapes, et MiniMax-H3-PTD-RefAsymOPD-LoRAs pour la variante RefAsymOPD. L'inférence en dehors de ComfyUI passe par le pipeline modulaire Diffusers de MiniMax-H3 avec diffusers >= 0.40.0 et le flux de travail ref2va.