MiniMax H3 Fun ControlNet Union 2.0 в ComfyUI: восемь типов управления

ComfyUI Wikinews

ControlNet Union 2.0 от Alibaba PAI для MiniMax H3 добавляет управление Scribble, Layout и Gray и удваивает число блоков внедрения, а поддержка ComfyUI появилась в день выхода.

MiniMax H3 Fun ControlNet Union 2.0 (Hugging Face | VideoX-Fun | ComfyUI PR #16471) представляет собой вторую версию ControlNet-Union от Alibaba PAI для MiniMax H3, выпущенную 22 сентября 2026 года. Число условий управления выросло с пяти до восьми за счёт добавления Scribble, Layout и Gray, а количество точек внедрения управления в базовом трансформере удвоилось.

Предыдущий checkpoint (MiniMax H3 Fun ControlNet Union, 24 августа 2026 года) поставлялся с Canny, Depth, HED, MLSD и Pose и пятью блоками управления. Версия 2.0 сохраняет этот интерфейс и перестраивает ветвь управления: новый checkpoint весит около 13,5 ГБ, а ComfyUI поддерживает его нативно в день публикации.

Что изменилось в 2.0

v1 (август 2026)v2.0 (этот релиз)
Условия управления5: Canny, Depth, HED, MLSD, Pose8: добавлены Scribble, Layout, Gray
Глубина ветви управления5 блоков управления (0, 10, 20, 30, 40)10 блоков управления (0, 5, 10, ..., 45)
Рецепт маскированных пикселей для инпейтингаpre_norm (дыры ≈ -2, почти чёрные)post_norm (дыры на 0, средне-серые)
Содержимое checkpointcontrol_proj_in + 5 блоков (~6,8 ГБ)control_proj_in + 10 блоков (~13,5 ГБ)
Обязательная конфигурацияminimax_h3_control.yamlminimax_h3_control_inpaint_post_norm.yaml

Всё остальное перенесено без изменений: control_in_dim = 49 (латентный + маскированный латентный + маска, поэтому одна ветвь обрабатывает и управление, и инпейтинг), control_apply_audio = false, веса с дистилляцией guidance, работающие при guidance_scale = 1.0, и skip-соединение с нулевым гейтом в основную ветвь.

Схема внедрения здесь является главным изменением. Управляющие сигналы теперь подключаются к десяти из 50 блоков трансформера вместо пяти, что примерно удваивает число точек внедрения; в карточке модели это связывают с более точным соблюдением структуры.

Восемь условий управления

УсловиеУправляющий сигналНовое в 2.0
CannyКарта границ Canny
DepthМонокулярная карта глубины
HEDДетекция границ HED
MLSDДетекция отрезков (line-segment)
PoseСкелет DWPose
ScribbleСвободные линии или набросок
LayoutВидео с расположением ограничивающих рамок
GrayВидео в градациях серого (яркость)

Layout следует рецепту layout из Wan2.1-VACE: рамки каждого объекта отрисовываются как цветокодированные прямоугольники на белом фоне и подаются как обычное RGB-видео. Генерация следует за управляющим видео по числу кадров (округляется вниз до наибольшего 17 * n + 5, которое способен декодировать видео-VAE, с ограничением в 15 секунд), соотношению сторон и фиксированным 24 fps.

Запуск в ComfyUI

ComfyUI получил поддержку нового checkpoint в PR #16471 (CORE-462, влит 22 сентября 2026 года), который обновляет путь управления MiniMax H3 в трёх местах:

  • comfy/ldm/minimax/controlnet.py теперь распознаёт флаг inpaint_post_norm, поэтому маскированные пиксели обнуляются после нормализации VAE, а не до неё.
  • comfy_extras/nodes_minimax_h3.py возвращает среднее ImageNet в маскированную область, когда этот флаг установлен, что соответствует тому, как обучался checkpoint 2.0.
  • comfy_extras/nodes_model_patch.py теперь выводит слои внедрения из самого checkpoint (range(0, 50, 50 // num_blocks)), поэтому один загрузчик обрабатывает и 5-блочные веса v1, и 10-блочные веса v2.0.

В графе используются те же два узла, что и раньше: ModelPatchLoader для ветви управления и MiniMaxH3FunControlNetApply, чтобы привязать управляющее видео к сэмплеру. Опубликованный checkpoint представляет собой необработанную ветвь управления, поэтому пользователи ComfyUI загружают один из конвертированных патчей из репозитория MiniMax H3 от Kijai:

Официальный шаблон, поставляемый с ComfyUI, video_minimax_h3_fun_controlnet_union, уже собирает всю цепочку для управления позой (выбор разрешения, узел H3 reference-to-video, пара VAE, подграф предобработки позы видео SDPose и сэмплер). Замените файл патча в ModelPatchLoader на сборку 2.0, и он запустит новый checkpoint.

Превью официального шаблона MiniMax H3 Fun ControlNet Union

Изображение превью из официального шаблона управления позой в ComfyUI

Превью официального шаблона MiniMax H3 Fun ControlNet Union, второе изображение

Второе изображение превью того же шаблона

Результаты

В карточке модели для каждого условия опубликованы управляющее видео и сгенерированный результат, все при 40 шагах вывода с guidance_scale = 1.0 и control_context_scale = 1.00. В каждой паре ниже левое изображение это управляющий сигнал, а правое результат.

Управление позойРезультат по позе
Управляющее видео позыСгенерированный результат
Управление LayoutРезультат по Layout
Управляющее видео Layout (новое в 2.0)Сгенерированный результат
Управление ScribbleРезультат по Scribble
Управляющее видео Scribble (новое в 2.0)Сгенерированный результат

Полные клипы, включая пару для инпейтинга, доступны на странице модели.

Доступность

Checkpoint работает через пайплайн вывода VideoX-Fun, как и v1: клонируйте VideoX-Fun, поместите базовую модель MiniMax H3 и 13,5 ГБ ветви управления в models/Diffusion_Transformer/ и укажите путь к новым весам в examples/minimax_h3_fun/predict_v2v_control.py. Карточка модели отдельно предупреждает об одной ловушке: загрузка конфигурации v1 (minimax_h3_control.yaml) с checkpoint 2.0 приводит к молчаливому сбою, поскольку строится только половина ветви управления, поэтому control_blocks.5~9 отбрасываются как неожиданные ключи, а остальные оказываются на неправильных местах. Всегда используйте minimax_h3_control_inpaint_post_norm.yaml.

control_context_scale по-прежнему масштабирует каждый control skip перед добавлением в основную ветвь: 1.0 для самого сильного управления, меньшие значения для более слабого влияния и 0.0, чтобы полностью отключить ветвь управления.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
MiniMax H3 Fun ControlNet Union 2.0 в ComfyUI: восемь типов управления | ComfyUI Wiki