MiniMax H3 Fun ControlNet Union 2.0 в ComfyUI: восемь типов управления
ControlNet Union 2.0 от Alibaba PAI для MiniMax H3 добавляет управление Scribble, Layout и Gray и удваивает число блоков внедрения, а поддержка ComfyUI появилась в день выхода.
Предыдущий checkpoint (MiniMax H3 Fun ControlNet Union, 24 августа 2026 года) поставлялся с Canny, Depth, HED, MLSD и Pose и пятью блоками управления. Версия 2.0 сохраняет этот интерфейс и перестраивает ветвь управления: новый checkpoint весит около 13,5 ГБ, а ComfyUI поддерживает его нативно в день публикации.
Что изменилось в 2.0
| v1 (август 2026) | v2.0 (этот релиз) | |
|---|---|---|
| Условия управления | 5: Canny, Depth, HED, MLSD, Pose | 8: добавлены Scribble, Layout, Gray |
| Глубина ветви управления | 5 блоков управления (0, 10, 20, 30, 40) | 10 блоков управления (0, 5, 10, ..., 45) |
| Рецепт маскированных пикселей для инпейтинга | pre_norm (дыры ≈ -2, почти чёрные) | post_norm (дыры на 0, средне-серые) |
| Содержимое checkpoint | control_proj_in + 5 блоков (~6,8 ГБ) | control_proj_in + 10 блоков (~13,5 ГБ) |
| Обязательная конфигурация | minimax_h3_control.yaml | minimax_h3_control_inpaint_post_norm.yaml |
Всё остальное перенесено без изменений: control_in_dim = 49 (латентный + маскированный латентный + маска, поэтому одна ветвь обрабатывает и управление, и инпейтинг), control_apply_audio = false, веса с дистилляцией guidance, работающие при guidance_scale = 1.0, и skip-соединение с нулевым гейтом в основную ветвь.
Схема внедрения здесь является главным изменением. Управляющие сигналы теперь подключаются к десяти из 50 блоков трансформера вместо пяти, что примерно удваивает число точек внедрения; в карточке модели это связывают с более точным соблюдением структуры.
Восемь условий управления
| Условие | Управляющий сигнал | Новое в 2.0 |
|---|---|---|
| Canny | Карта границ Canny | |
| Depth | Монокулярная карта глубины | |
| HED | Детекция границ HED | |
| MLSD | Детекция отрезков (line-segment) | |
| Pose | Скелет DWPose | |
| Scribble | Свободные линии или набросок | ✅ |
| Layout | Видео с расположением ограничивающих рамок | ✅ |
| Gray | Видео в градациях серого (яркость) | ✅ |
Layout следует рецепту layout из Wan2.1-VACE: рамки каждого объекта отрисовываются как цветокодированные прямоугольники на белом фоне и подаются как обычное RGB-видео. Генерация следует за управляющим видео по числу кадров (округляется вниз до наибольшего 17 * n + 5, которое способен декодировать видео-VAE, с ограничением в 15 секунд), соотношению сторон и фиксированным 24 fps.
Запуск в ComfyUI
ComfyUI получил поддержку нового checkpoint в PR #16471 (CORE-462, влит 22 сентября 2026 года), который обновляет путь управления MiniMax H3 в трёх местах:
comfy/ldm/minimax/controlnet.pyтеперь распознаёт флагinpaint_post_norm, поэтому маскированные пиксели обнуляются после нормализации VAE, а не до неё.comfy_extras/nodes_minimax_h3.pyвозвращает среднее ImageNet в маскированную область, когда этот флаг установлен, что соответствует тому, как обучался checkpoint 2.0.comfy_extras/nodes_model_patch.pyтеперь выводит слои внедрения из самого checkpoint (range(0, 50, 50 // num_blocks)), поэтому один загрузчик обрабатывает и 5-блочные веса v1, и 10-блочные веса v2.0.
В графе используются те же два узла, что и раньше: ModelPatchLoader для ветви управления и MiniMaxH3FunControlNetApply, чтобы привязать управляющее видео к сэмплеру. Опубликованный checkpoint представляет собой необработанную ветвь управления, поэтому пользователи ComfyUI загружают один из конвертированных патчей из репозитория MiniMax H3 от Kijai:
- minimax_h3_fun_controlnet_union_2.0_pruned_bf16.safetensors
- minimax_h3_fun_controlnet_union_2.0_pruned_int8_convrot.safetensors
Официальный шаблон, поставляемый с ComfyUI, video_minimax_h3_fun_controlnet_union, уже собирает всю цепочку для управления позой (выбор разрешения, узел H3 reference-to-video, пара VAE, подграф предобработки позы видео SDPose и сэмплер). Замените файл патча в ModelPatchLoader на сборку 2.0, и он запустит новый checkpoint.
Изображение превью из официального шаблона управления позой в ComfyUI
Второе изображение превью того же шаблона
Результаты
В карточке модели для каждого условия опубликованы управляющее видео и сгенерированный результат, все при 40 шагах вывода с guidance_scale = 1.0 и control_context_scale = 1.00. В каждой паре ниже левое изображение это управляющий сигнал, а правое результат.
![]() | ![]() |
|---|---|
| Управляющее видео позы | Сгенерированный результат |
![]() | ![]() |
|---|---|
| Управляющее видео Layout (новое в 2.0) | Сгенерированный результат |
![]() | ![]() |
|---|---|
| Управляющее видео Scribble (новое в 2.0) | Сгенерированный результат |
Полные клипы, включая пару для инпейтинга, доступны на странице модели.
Доступность
Checkpoint работает через пайплайн вывода VideoX-Fun, как и v1: клонируйте VideoX-Fun, поместите базовую модель MiniMax H3 и 13,5 ГБ ветви управления в models/Diffusion_Transformer/ и укажите путь к новым весам в examples/minimax_h3_fun/predict_v2v_control.py. Карточка модели отдельно предупреждает об одной ловушке: загрузка конфигурации v1 (minimax_h3_control.yaml) с checkpoint 2.0 приводит к молчаливому сбою, поскольку строится только половина ветви управления, поэтому control_blocks.5~9 отбрасываются как неожиданные ключи, а остальные оказываются на неправильных местах. Всегда используйте minimax_h3_control_inpaint_post_norm.yaml.
control_context_scale по-прежнему масштабирует каждый control skip перед добавлением в основную ветвь: 1.0 для самого сильного управления, меньшие значения для более слабого влияния и 0.0, чтобы полностью отключить ветвь управления.






Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.