PTD LoRA для MiniMax H3 сокращают Ref2VA до 8 или 4 шагов

PTD расшифровывается как Parametric Trajectory Distillation (параметрическая дистилляция траектории), опубликована как arXiv 2610.11498 Лань Фэном и соавторами из EPFL, NVIDIA и Stanford, с страницей проекта, весь ролик для которой сгенерирован целиком на MiniMax H3. В статье 33B совместная аудио-видео модель, сэмплируемая за 50 шагов, дистиллируется в студента на четыре или шесть шагов, используя только LoRA и супервизию траектории.

Что добавляют эти два репозитория, так это половину Ref2VA этой истории: референсные изображения на входе, видео плюс аудио на выходе, за 8 или 4 вычисления трансформера.

Как работают адаптеры

Более ранний релиз PDD от той же команды (MiniMax-H3-Acc-LoRAs) заменил единственную выходную голову базовой модели банком голов для каждого интервала. PTD сохраняет этот банк и обучает один независимый низкоранговый адаптер на каждый шаг вывода, per-hop LoRA на диффузионном бэкбоне, так что каждый переход выбирает свой адаптер и объединяет свою голову. Поэтому чекпойнт на 8 переходов выполняется за 8 вычислений трансформера, а на 4 перехода за 4.

Каждый чекпойнт несёт свою конфигурацию в метаданных safetensors (ptd_num_hops, pdd_num_steps=32, pdd_block_size, lora_rank, lora_alpha, lora_targets). Предоставленный apply_ptd_lora читает эти метаданные и сам определяет число шагов, поэтому в узлах ComfyUI нет слайдера шагов: сетка сигм является свойством чекпойнта.

Что показывают демонстрации

Карточка PTD использует три кейса из примеров MiniMax-H3-Turbo (драка у бассейна, противостояние на складе, мотоцикл, выезжающий из монитора) и выстраивает их против базовой модели Ref2VA, 4-шаговой Turbo LoRA и 8-шагового релиза PDD. Референсные изображения, промпты и скрипт predict_ref2v.py поставляются в репозитории, поэтому каждый столбец воспроизводим.

Карточка RefAsymOPD идёт дальше и публикует пять новых кейсов в 768×1344, 124 кадра, 24 fps со звуком, где каждая строка сравнивает 40-шаговую базовую модель как потолок качества, 8-шаговый релиз PDD, 8-шаговый проход обычного PTD и 8-шаговый проход RefAsymOPD. Заявленное преимущество узкое: лучшая правдоподобность фона, резкость и реализм, чем у обычного PTD при том же числе шагов, без дополнительных затрат, поскольку чекпойнт структурно идентичен обычной LoRA PTD и подменяется без изменений кода.

Один кадр из каждого из четырёх столбцов демонстрационного кейса sample-0, взятый из одной и той же точки клипа: базовая модель на 40 шагах, PDD 8 шагов, PTD 8 шагов и PTD + RefAsymOPD 8 шагов.

Полный 8-шаговый клип RefAsymOPD для sample-0 вместе со сгенерированным аудио. Обложка представляет собой двухпанельный кадр из другого кейса (sample-2).

Запуск в ComfyUI

Оба репозитория содержат один и тот же пакет пользовательских узлов, comfyui_node/ComfyUI-MiniMaxH3-PTD/. Он не реализует сэмплирование PTD заново: он переиспользует механизм хуков из узлов восходящего проекта ComfyUI-PTD и заменяет только загрузчик, сетку переходов и выходные головы. Такое разделение существует потому, что восходящий проект принимает чекпойнты на 4 и 6 переходов и ожидает per-hop дельты на базовой выходной голове, тогда как эти адаптеры рассчитаны на 4 и 8 переходов и обучены поверх банка голов по интервалам из PDD.

Установка, как описано в пакете:

1. Установите восходящий ComfyUI-PTD (ветка release/comfyui-inference) в custom_nodes/ и выполните для него pip install -e. Его модуль ptd_comfy импортирует соседний пакет ptd, поэтому простое клонирование падает при импорте.
2. Скопируйте ComfyUI-MiniMaxH3-PTD из репозитория в custom_nodes/.
3. Поместите чекпойнты адаптеров в ComfyUI/models/ptd/.
4. Конвертируйте базовую модель самостоятельно: этим адаптерам нужен оригинальный, необрезанный transformer_ref/ из MiniMaxAI/MiniMax-H3, сконвертированный с помощью scripts/convert_comfy_base.py. Обрезанные, Turbo, PDD и квантованные базы явно не подходят.
5. Запустите ComfyUI с --disable-dynamic-vram.

Текстовый энкодер (qwen3vl_32b_minimax_h3_bf16) и видео- и аудио-VAE берутся из Comfy-Org/MiniMax-H3. С учётом базовой модели полный набор весов составляет около 140 GB.

Граф короткий: Загрузить модель диффузии, затем Load MiniMax-H3 PTD Adapters, затем узлы PTD Sampler и PTD Sigmas, подающие данные в SamplerCustomAdvanced, с кондиционированием через MiniMax H3: референс в видео, затем разделение AV-латента и декодирование видео и аудио. В репозитории поставляется пример рабочего процесса в формате API, по одному на релиз, а README предупреждает, что его референсные изображения нужно сначала скопировать из asset/ в ComfyUI/input/.

Авторы сообщают о сквозной валидации через HTTP-очередь ComfyUI на обоих чекпойнтах PTD: ровно 8 и 4 вычисления трансформера на узлах чекпойнта, 1344×768, 243 кадра, 24 fps и стерео-аудио 32 kHz, совпадающие со скриптом Diffusers по сцене, идентичности и структуре аудио. Одни и те же сиды не воспроизводят вывод Diffusers побитово, потому что два фронтенда иначе генерируют начальный шум. Тестировался стек ComfyUI 5cc4b87, ComfyUI-PTD 43ae22c и PyTorch 2.13.0+cu130 на одной H20-3e.

Обходные решения сообщества

Поскольку адаптерам требуется необрезанная база на 140 GB, первой реакцией сообщества стало подогнать их под более скромные конфигурации. Через день после релиза PTD компактный загрузчик (ComfyUI-PTD-Compact, создан 22 октября) добавил поддержку обрезанных и квантованных баз вместе с int8-версиями 4-шагового адаптера, и пользователи Banodoco публиковали первые кадры и клипы из этих конверсий. Сборка int8 на этапе 8 на карте того автора работает примерно за 14 секунд на кадр при 4 MP.

Доступность

Оба набора адаптеров есть на Hugging Face: MiniMax-H3-PTD-LoRAs для пары на 8 и 4 шага, и MiniMax-H3-PTD-RefAsymOPD-LoRAs для варианта RefAsymOPD. Вывод вне ComfyUI выполняется через модульный pipeline Diffusers для MiniMax-H3 с diffusers >= 0.40.0 и рабочим процессом ref2va.