MiniMax H3 RefMods: референсные адаптеры без обучения для ComfyUI

Проект сообщества RefMods (Reference Latent Adapters, референсные латентные адаптеры) предлагает новый способ сохранять консистентность персонажей в видео MiniMax H3: вместо подачи референсного изображения или видео при каждой генерации вы один раз кодируете референс в компактный файл .safetensors (от 1 до 1,6 МБ) и загружаете его как LoRA всякий раз, когда он нужен. Автором проекта стал пользователь Reddit malcolmrey, опубликовавший полную библиотеку весов RefMods на Hugging Face вместе с руководством по установке и использованию.

За интеграцию с ComfyUI отвечает пакет узлов с открытым исходным кодом ComfyUI-MiniMaxH3Mod (MIT, 99 звёзд), который извлекает, загружает и применяет RefMods через контур условий.

Что такое RefMods на самом деле

RefMods представляют собой заранее закодированные адаптеры уровня условий. Референсное изображение, видео или GIF один раз кодируются VAE, сжимаются до информации об идентичности и сохраняются в виде отдельного файла. Во время генерации адаптер внедряется напрямую в поток условий H3, поэтому:

Не требуется живое VAE-кодирование референса при каждом запуске
Не нужны позиционные теги изображений вроде <Picture 1> в промптах
Внешний вид референса не «просачивается» в несвязанные части сцены
Нет цикла обучения: извлечение выполняется за один проход, в отличие от обучения LoRA

Пакет узлов: извлечение, загрузка, применение

Пакет узлов ComfyUI-MiniMaxH3Mod содержит пять нод (v0.1.0):

Узел	Назначение
Extract H3 RefMod	Превращает изображение, видео или GIF в один мод `.safetensors`, с режимами `training` (пулингованные миниатюры концепта/личности) и `encode` (VAE полного разрешения)
Load H3 RefMods	Строки в стиле загрузчика LoRA, до 8 слотов, каждый со своей силой и множителем повтора токенов `copies`
Load H3 RefMod Axis	Слайдер A/B со знаком: отрицательное значение выбирает мод A, положительное значение выбирает мод B
Load H3 RefMod Folder	Все изображения и видео в папке формируют упорядоченный список референсов
Apply H3 RefMod	Внедряет моды в условие, с контролем удержания и кривой по шагам

Отдельная нода H3 RefMod Step Curve управляет тем, в какой момент денойзинга референс действует сильнее всего. Поддерживаются направления кривой concept_at_start, concept_at_middle и concept_at_ends, а также scramble_seed с задаваемым сидом, который чередует моды нескольких референсов между запусками.

Подключение к рабочему процессу H3

Две ноды RefMod встраиваются между загрузчиком условий и guider или этапом контекста движения:

[ MiniMaxH3ImageToVideo / ReferenceToVideo ] (conditioning out)
                    |
                    v
          [ MiniMaxH3RefModApply ] <--- [ MiniMaxH3RefModsLoader ]
                    | (conditioning out)
                    v
     [ BasicGuider ] / [ MiniMaxH3MotionContext ]

В промптах используются обычные теги субъектов (<Subject 1>, <Subject 2>) с биометрическими описаниями. Для сцен с несколькими персонажами назначьте по одному моду на слот загрузчика, и адаптер сопоставит каждую личность без коллизий токенов.

Примеры выходных видео

Adam Driver RefMod	Adele RefMod

Библиотека весов

Библиотека на Hugging Face сейчас содержит сотни готовых RefMods размером примерно от 1,1 до 1,6 МБ каждый, включая адаптеры публичных личностей, вымышленных персонажей, а также анатомические и концептуальные адаптеры, все под лицензией Apache-2.0. Файлы помещаются в ComfyUI/models/refmods/, и нода-загрузчик автоматически заполняет свои выпадающие списки. Проект также включает библиотеку примеров видео и коллекцию рабочих процессов, охватывающую конвейеры T2V, I2V, R2V и C2V.

Доступность

Пакет узлов: Luisacaotica/ComfyUI-MiniMaxH3Mod на GitHub (MIT)
Веса: malcolmrey/minimaxh3 на Hugging Face (Apache-2.0)
Руководство: Руководство по установке и использованию RefMods