MiniMax H3 Semantic Bridge: адаптер 11 МБ для ComfyUI

Опубликованный пример рабочего процесса показывает, где находится узел Semantic Bridge в стандартном конвейере H3 FL2VA: после текстового условия, перед выборкой.

Почему нельзя просто пересадить веса?

Автор сначала протестировал очевидный подход: прямую пересадку весов трансформера из SenseNova U1.5 в MiniMax H3. Это полностью провалилось. При сравнении соответствующих 2D весов у H3 264 тензора против 593 у SenseNova, при этом нет ни одного точного совпадения форм, ни одного совпадения транспонирования и ни одного совпадения входных или выходных размеров.

Рабочим интерфейсом оказались представления условий. H3 потребляет текстовое условие размерностью 5120 перед проекцией его во внутреннее пространство трансформера размерностью 5376, тогда как языковое представление SenseNova имеет размерность 4096. Вместо копирования весов проект выровнял то, как две архитектуры представляют один и тот же промпт, затем дистиллировал это отображение в компактный адаптер со стороны H3.

Путь исследования, полностью задокументированный в репозитории: выравнивание скрытых представлений достигло косинуса валидации около 0.904 на тестовых промптах из оригинального распределения и 0.749 на 160 строгих промптах вне распределения. Полный мост учителя (запуск SenseNova во время вывода) работал, но был непрактичен, поэтому он был дистиллирован в адаптер ученика, который предсказывает полученное учителем представление напрямую из собственных условий H3. Финальный ученик достигает косинуса представления учителя 0.996 и косинуса коррекции 0.984, при этом коррекция вне распределения составляет 0.990.

Что делает адаптер в ComfyUI

Адаптер не является LoRA, слиянием checkpoint или пересадкой параметров. Во время вывода оно работает только с условиями H3: узел преобразует нативные текстовые условия H3 в выученное семантическое представление, согласует его по величине и смешивает обратно как остаток (C = H + alpha * (S - H)), оставляя веса диффузионного трансформера без изменений. SenseNova не требуется во время вывода.

Пакет Узлов (zip на HF) предоставляет три узла:

• MiniMax H3: изображение в видео + Semantic Bridge: обертка для стандартного пути изображения в видео H3
• MiniMax H3 Semantic Bridge: само преобразование условий, с элементами управления alpha (по умолчанию 0.10, примеры A/B используют 0.15) и magnitude_match (РЕКОМЕНДУЕТСЯ на токене)
• MiniMax H3 Очистить кэш Semantic Bridge

Установка: извлеките zip в ComfyUI/custom_nodes/, поместите MiniMaxH3_SemanticBridge_v1.safetensors в ComfyUI/models/semantic_bridge/ и перезапустите. Весь адаптер занимает около 11 МБ.

Цель: следование промптам, а не новые стили

Проект фокусируется на семантической структуре, а не на добавлении визуальных концепций: сложная композиция, пространственные отношения, анатомия, подсчет объектов, ограничения текста, материалы и освещение, а также поведение отражения или перекрытия. Флагманский пример A/B акцентирует промпт, который просит руку, лежащую ровно на стеклянном столе «со всеми пятью пальцами естественно разделенными и четко видимыми», среди многих других одновременных ограничений.

Нативный H3: правая рука дрейфует по столешнице	Мост семантики (Альфа 0.15): рука остается лежать согласно промпту

Вторая половина пары стекло-стол A/B с включенным мостом (Альфа 0.15).

Автор явно указывает, что это качественные наблюдения из контролируемых пар, а не бенчмарк: адаптер может помочь некоторым промптам, мало повлиять на другие или иногда ухудшить результаты. Метрики пространства представлений не переводятся напрямую в прирост воспринимаемого качества.

Объем: только FL2VA и рабочая станция разработки 24 ГБ

Два практических замечания. Во-первых, v1 работает только на стандартном пути FL2VA / текст-условия. Совместимая с Ref2VA версия была протестирована и ухудшила пение и синхронизацию губ по опорному аудио, поэтому README явно предупреждает против использования его для генерации с опорным условием.

Во-вторых, весь проект (извлечение представлений, эксперименты с мостом, дистилляция, оценка) работал на одной RTX 3090 Ti с 24 ГБ, без кластера нескольких GPU. Для эксперимента о переносе выученного поведения между несовместимыми архитектурами это, пожалуй, самая интересная часть релиза.

Доступность

• Адаптер, ноды, рабочий процесс, материалы исследования: speach1sdef178/MiniMax-H3-Semantic-Bridge на Hugging Face
• Лицензия: артефакты, полученные из модели, следуют Лицензии сообщества MiniMax H3 (с включенным NOTICE); учитель SenseNova U1.5 — Apache-2.0 и не распространяется повторно
• Полное описание исследования: RESEARCH_ARTICLE.md