MiniMax H3 Turbo LoRA: 4-шаговая FL2V-дистилляция для ComfyUI

ComfyUI Wikinews

Lightx2v и ModelTC дистиллируют MiniMax H3 в 4-шаговый FL2V Turbo LoRA, сокращая выборку с ~20 шагов до 4, и публикуют конвертацию для ComfyUI и демо-версии в Spaces.

Команда Lightx2v и ModelTC выпустили 4-шаговый Turbo LoRA для MiniMax H3, дистиллировав генерацию видео по первому и последнему кадру (FL2V) примерно с 20 шагов выборки до 4 (Hugging Face, GitHub). LoRA размером около 1,3 ГБ представляет собой раннюю предварительную версию: v0.1 фокусируется на качестве FL2V, а дистилляция Ref2V уже в планах.

Пример кадра MiniMax H3 Turbo LoRA

Кадр из примера автора при 4 шагах

Что входит в релиз

  • Веса: minimax_h3_fl2v_turbo_4step_v0.1.safetensors на Hugging Face, дистиллированные из базовой модели MiniMax-H3
  • Код для вывода: репозиторий ModelTC предоставляет пакетный вывод MiniMax-H3, а также сравнения NFE и LoRA с базовой моделью при 50 NFE
  • Демо-версии в Spaces: Space akhaliq MiniMax-H3-Turbo-Lora и Space официальной организации позволяют опробовать LoRA без локального оборудования
  • Роадмап: улучшить визуальные детали FL2V и общее качество, затем разработать дистилляцию на основе Ref2V

В примечаниях к релизу v0.1 назван предварительной версией: визуальные детали все еще требуют улучшения, а обновленная версия находится в разработке.

Использование в ComfyUI

Для этого LoRA ComfyUI не требует отдельной пользовательской ноды. Kijai опубликовал совместимую с ComfyUI конвертацию в Kijai/MiniMax-H3_comfy (minimax_h3_fl2v_lightx2v_turbo_4step_v0.1_comfy.safetensors, а также вариант bf16 с измененным размером) в течение часа после релиза. Поместите файл в models/loras/, загрузите базовый чекпоинт H3 и примените LoRA с силой 0.75 при 4 шагах, используя сэмплер er_sde или sa_solver, согласно тестовым заметкам Kijai.

Официальный шаблон рабочего процесса MiniMax H3 «текст в видео» является хорошей отправной точкой. Вставьте Turbo LoRA между загрузчиком модели и сэмплером и переключите настройки на 4 шага, как указано выше.

Примечание: авторы заметили некоторые различия между результатами вывода Diffusers и ComfyUI (аудио звучало более естественно в Diffusers). Ошибка аудио в реализации ComfyUI была исправлена в ночном обновлении. Чтобы воспроизвести результаты из статьи, используйте скрипт вывода ModelTC.

Пример результата, опубликованный авторами в обсуждении релиза

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
MiniMax H3 Turbo LoRA: 4-шаговая FL2V-дистилляция для ComfyUI | ComfyUI Wiki