PDMD: 4-шаговая дистилляция MiniMax H3 для ComfyUI

Цель обновления DMD	Цель обновления PDMD

Обе панели декодируют реальную цель обучающего обновления с одного и того же шага прогона MiniMax H3. На странице проекта цель PDMD представлена как содержащая меньше артефактов, и именно это должна давать проекция.

Что меняет PDMD

DMD обучает student-модель на разнице между score критика и собственным score студента. Это обновление также несёт в себе ошибку критика, и эта ошибка попадает в каждое последующее обновление студента и накапливается, что проявляется как прогрессирующее перенасыщение и неестественная текстура. PDMD сохраняет обновление DMD и вычитает из него ту часть, которая направлена вдоль остатка конечных точек студента и критика:

r = x0_critic - x0_student
d = d - (d * r).sum() / r.pow(2).sum() * r

В статье показано, что при фиксированном зашумлённом запросе этот остаток является несмещённой оценкой ошибки конечной точки критика, и что при предположениях о высокой размерности проекция убирает постоянную долю ошибки критика, отбрасывая лишь исчезающе малую долю идеального сигнала DMD. Это изменение DMD в одну строку без вспомогательной функции потерь, без дополнительной сети, без дополнительного прохода модели и без дополнительного этапа обучения.

Иллюстрация интуиции PDMD со страницы проекта. DMD сдвигает конечную точку студента вдоль направления обновления; PDMD вычитает проекцией компоненту, параллельную остатку конечных точек.

Что было выпущено

Релиз представляет собой часть метода, относящуюся к MiniMax H3, в виде трёх артефактов:

Адаптеры имеют ранг 128 и alpha 128 по 312 модулям, 624 тензорам трансформера H3, в раскладке ключей Diffusers (transformer.<module>.lora_A.weight / transformer.<module>.lora_B.weight). Всё остальное: VAE, аудио VAE, планировщики, текстовый энкодер и процессор, берётся из базовой модели, а метаданные safetensors фиксируют правило объединения W_base += lora_scale * (lora_B @ lora_A) с lora_scale = 1.0. В карточке запрошены четыре шага денойзинга с опубликованной конфигурацией планировщика базовой модели (shift 12 / 3). В репозитории 2-шаговой версии также поставляется копия адаптера в fp32.

Результаты

В статье метод проверяется на MiniMax H3 и Wan2.1. Для MiniMax H3 используется VideoGen-Eval с 387 промптами при 544p и фиксированным seed:

| Метод | NFE | Всего | Quality | Dynamic | Semantic | PQ | CE | CU | IS | |--|--:|--:|--:|--:|--:|--:|--:|--:| | MiniMax-H3-33B, учитель | 50 | 82.41 | 82.22 | 66.67 | 83.20 | 6.567 | 4.188 | 6.213 | 5.15 | | MiniMax-H3-33B | 4 | 79.48 | 79.54 | 44.44 | 79.23 | 6.056 | 3.167 | 5.580 | 3.35 | | H3 Turbo LoRA | 4 | 81.57 | 81.29 | 54.78 | 82.69 | 6.406 | 3.917 | 6.015 | 4.52 | | DMD2† | 4 | 82.27 | 82.51 | 59.95 | 81.34 | 6.305 | 3.434 | 5.871 | 4.06 | | DMD† | 4 | 82.76 | 82.68 | 61.76 | 83.05 | 6.381 | 3.801 | 5.931 | 4.79 | | rCM† | 4 | 81.18 | 80.98 | 58.40 | 81.95 | 6.063 | 3.711 | 5.446 | 3.69 | | AnyFlow† | 4 | 81.97 | 81.82 | 64.60 | 82.60 | 6.092 | 3.544 | 5.591 | 4.35 | | PDMD | 4 | 83.17 | 83.25 | 71.83 | 82.86 | 6.530 | 4.062 | 6.180 | 4.98 |

† обозначает реимплементации авторов, обученные по общему протоколу.

Для Wan2.1-T2V-1.3B используется VBench с 944 промптами при 480p и пятью seed для каждого:

В аннотации говорится, что на MiniMax H3 при совместной генерации видео и аудио 4-шаговый студент PDMD набирает 83.17 по визуальному итогу VideoGen-Eval, что на 0.41 балла выше сильнейшего дистиллированного базового метода, и показывает лучший результат по всем шести аудиометриям среди сравниваемых четырёхшаговых моделей. На Wan2.1 сообщается общий результат VBench 83.73 при четырёх шагах, на 1.03 балла выше соответствующего запуска DMD. Страница проекта добавляет качественные сравнения и пользовательское исследование, в которых PDMD превосходит дистиллированные базовые методы по визуальному качеству, движению и качеству аудио.

Запуск в ComfyUI

Официальный релиз ориентирован на Diffusers, а не на узлы: inference.py и run_a10.py выполняют выборку по правилу re-noise, на котором обучались студенты, и никакой JSON рабочего процесса в релиз не входит.

Для ComfyUI адаптеры после конвертации являются обычными LoRA. Kijai опубликовал конвертации с пониженным рангом на Kijai/MiniMax-H3-experimental: minimax_h3_pdmd_2step_lora_avg_rank_38_bf16.safetensors и minimax_h3_pdmd_4step_lora_avg_rank_57_bf16.safetensors. Они загружаются через стандартный путь LoRA для MiniMax H3 без пользовательской ноды, с обычной оговоркой, что понижение ранга и настройки сэмплера отличаются от тех, что оценивались в статье. Также распространяется конвертация сообщества Iwannapose/minimax_h3_pdmd_4nfe_comfyui.

Официальный трейлер PDMD. Каждый кадр на странице проекта получен за четыре сетевых вычисления или меньше.

Два клипа из сетки сравнений MiniMax H3 на странице проекта, одинаковые промпт и seed, по четыре шага каждый:

DMD за 4 шага.

PDMD за 4 шага, тот же промпт и seed, что и в клипе выше.

Ограничения

• Опубликованные студенты MiniMax H3 рассчитаны на 1344x768 с текстовым энкодером и аудиокомпонентами базовой модели, так что релиз это результат по скорости выборки, а не уменьшенная модель.
• Конвертации для ComfyUI уменьшают адаптеры ранга 128 до среднего ранга 38 или 57, поэтому это не те самые файлы, которые оценивались в статье.
• Поскольку официальных узлов и JSON рабочего процесса нет, поддержка ComfyUI зависит от конвертаций сообщества и их раскладки ключей. Сам релиз в первую очередь рассчитан на Diffusers.
• Несколько базовых методов, отмеченных кинжалом в таблицах выше, это реимплементации самих авторов, обученные по общему протоколу, а не те числа, которые публикуют эти проекты.

Доступность

Страница проекта: pdmd2026.github.io
Статья: arXiv 2609.35768
Код: ZeamoxWang/pdmd
Веса: pdmd2026
Конвертация для ComfyUI: Kijai/MiniMax-H3-experimental
Базовая модель: MiniMaxAI/MiniMax-H3