Обучение LoRA MiniMax H3 в AI Toolkit: T2V и I2V

ComfyUI Wikinews

Обучайте LoRA для MiniMax H3 с помощью Ostris AI Toolkit: поддержка T2V и I2V, NVFP4-квантование и градиентные чекпоинты VAE для потребительских GPU.

Ostris AI Toolkit 3 августа добавил поддержку обучения MiniMax H3 для text-to-video и image-to-video, что позволяет дообучать LoRA для открытой модели H3 на потребительских GPU.

Поддержка появилась в коммите 8502a84 ("Add support for MiniMax H3 T2V and I2V training"), который добавляет новое расширение minimax_h3 с полным пайплайном обучения: transformer с упакованными токенами, VAE для видео и аудио, текстовый энкодер и утилиты NVFP4-квантования.

Что включено

  • Обучение LoRA для T2V и I2V для обоих чекпойнтов H3 (FL2VA и Ref2VA)
  • Поддержка NVFP4-квантования (nvfp4_quant.py) для снижения потребления VRAM во время обучения
  • Градиентные чекпоинты VAE (коммит 602306d) для снижения потребления памяти
  • Совместная обработка аудио и видео: пайплайн H3 выполняет денойзинг видео- и стереоаудиолатентов вместе, и тулкит сохраняет эту логику при обучении
  • Поддержка изображений в пайплайне данных (коммит 88ac27f) для пар обучения I2V
  • Более быстрая обработка квантования (коммит d3a3f70), оптимизированная под структуру слоёв H3

Поддержка моделей

MiniMax H3 теперь указана в списке поддерживаемых моделей AI Toolkit как MiniMaxAI/MiniMax-H3. H3: это omni-модальный transformer на 33.1B параметров, лежащий в основе линейки Hailuo от MiniMax, открытый 3 августа с нативной поддержкой ComfyUI (читайте историю об открытых весах).

Начало работы

AI Toolkit работает как GUI или CLI на потребительском оборудовании. Установите его из репозитория ostris/ai-toolkit, затем создайте конфигурацию обучения, указав в ней базовую модель H3. Расширение minimax_h3 встроено: отдельная установка не требуется.

Ссылки

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
Обучение LoRA MiniMax H3 в AI Toolkit: T2V и I2V | ComfyUI Wiki