Гибрид MiniMax H3: качество FL2VA и референсы Ref2VA

MiniMax H3 поставляется в виде двух чекпойнтов с одинаковой архитектурой: FL2VA, который дает более высокое визуальное и аудио качество, и Ref2VA, единственный вариант с поддержкой генерации на основе референсов (условия по изображению, видео или аудио), но с заметно более низким качеством вывода. Проект сообщества объединяет их в единый чекпойнт MiniMax H3 Hybrid, а сопутствующая кастомная нода загружает его напрямую в ComfyUI.

Рекомендуемые настройки Hybrid Loader из официального README проекта

Зачем нужен этот мердж

Потензорное сравнение двух официальных чекпойнтов показало, что подавляющее большинство весов (проекции QKV и выходные проекции внимания, MLP, RMSNorm, патч-проекции, ротарные эмбеддинги и токен-рефайнер) между FL2VA и Ref2VA бит-идентичны или почти идентичны (косинусное сходство ≥ 0.9997). Значимые различия сосредоточены в поблочных весах adaln_proj: модуляционных проекциях AdaLN, которые направляют сигналы текстовой, аудио-, видео- и референс-модальностей в остаточный поток.

Поскольку обработка референс-условий локализована в AdaLN-весах поздних блоков, а общее визуальное и аудио качество сосредоточено в общих весах, точечный мердж выглядел перспективнее, чем компромисс с потерями: взять FL2VA за основу для всего остального и извлечь веса adaln_proj из Ref2VA для настраиваемого диапазона поздних трансформер-блоков.

Доступные варианты

Мердж выполнен на уровне тензоров без дополнительного обучения. Все варианты используют FL2VA в качестве основы и отличаются только тем, сколько из 50 трансформер-блоков берут свои веса adaln_proj из Ref2VA:

Каждый вариант представляет собой самостоятельный чекпойнт с той же архитектурой и структурой тензоров, что и исходные модели (~21 ГБ), поэтому после загрузки он ведет себя как обычная диффузионная модель.

Использование в ComfyUI

Гибрид нельзя загрузить штатной нодой ComfyUI Load Diffusion Model, потому что ни один стандартный загрузчик не умеет компоновать два чекпойнта. Сопутствующая нода MiniMax H3 Hybrid Loader (ComfyUI_MinimaxH3HybridLoader) закрывает этот пробел:

1. Установите кастомную ноду в ComfyUI/custom_nodes/ и перезапустите ComfyUI. Она появится в разделе model/loaders как MiniMax H3 Hybrid Loader.
2. Укажите в качестве базовой модели (base model) чекпойнт FL2VA, а в качестве оверлейной модели (overlay model) чекпойнт Ref2VA.
3. Выберите пресет: ref2va_adaln_over_fl2va (только поблочные веса AdaLN из Ref2VA) или block_range_adaln с параметрами block_range_start / block_range_end для более точной настройки (блоки индексируются от 0 до 49).
4. Загрузчик передает объединенный state dict штатному загрузчику моделей ComfyUI, поэтому результат неотличим от модели, загруженной нодой Load Diffusion Model: тот же патчер, та же поддержка мульти-GPU, а int8-компаньоны .comfy_quant переносятся автоматически.

Загрузчик экономит память: оба safetensors-файла открываются через mmap и объединяются по одному тензору за раз, поэтому пиковый RSS остается на уровне одной модели, а не двух.

Доступность

• Веса: smhfacct/Minimax-H3-fl2va-ref2va-hybrid-models на Hugging Face (четыре варианта, примерно по 21 ГБ)
• Нода ComfyUI: scottmudge/ComfyUI_MinimaxH3HybridLoader на GitHub, с полным потензорным анализом в minimax_h3_analysis.md
• Оба исходных чекпойнта не изменены; мердж наследует оригинальные условия лицензирования MiniMax H3