Control LoRA MOSS-Image в ComfyUI: Canny, глубина, поза

ComfyUI Wikinews

Семь LoRA для редактирования в стиле ControlNet для MOSS-Image-SFT, по одной на каждую карту контроля, с воркфлоу ComfyUI, примерами и одним файлом весов 290 МБ.

thedeoxen 10 ноября опубликовал семь control-LoRA для MOSS-Image-SFT: canny, глубина, поза, normal, lineart, scribble и сегментация. Каждая из них это одна LoRA ранга 64 размером около 290 МБ со своим рабочим процессом ComfyUI и сеткой примеров «контроль → результат», так что можно взять карту, которая у вас уже есть, и сразу запустить.

Это edit-LoRA, а не новая модель контроля. Карта подаётся как референсное изображение, а промпт решает, чем станут формы.

Пример контроля по глубине

Контроль по глубине (крайний слева) и сгенерированные результаты по разным промптам

Что принимает каждая LoRA

LoRAПодаваемая карта контроляПредобработчик в готовом рабочем процессеCheckpoint
Cannyтонкие белые рёбра на чёрном фонеCannyшаг 4500
Глубинакарта глубины в градациях серого, ближний план белыйDepth Anything V2 (ViT-L)шаг 5000
Позаскелет DWPose на чёрном фонеDWPoseшаг 4500
Normalкарта нормалей в пространстве камерыкарта нормалей BAEшаг 5000
Lineartтонкие белые линии, грубый линейный артLineArtшаг 5000
Scribbleсвободные белые штрихиHEDшаг 5000
Сегментацияобласти плоского цветасемантическая сегментация UniFormerшаг 4500
Контроль по позеКонтроль по Canny
Скелет DWPose превращается в прыгающую фигуруРёбра Canny превращаются в новый материал и окружение

Как это запустить

  1. Загрузите MOSS-Image-SFT: UNet moss_image_sft_int8_convrot.safetensors, CLIP qwen3.5_9b_w4a8_gptq.safetensors с типом moss_image, VAE flux2-vae_small.safetensors.
  2. Добавьте LoRA на UNet с силой 1.0. Снижайте к 0.7, если контроль слишком жёсткий.
  3. Подайте карту контроля как единственное референсное изображение в Кодирование текста для редактирования MOSS-Image и задайте edit_format со значением ai-toolkit как в позитивном, так и в негативном кодировании. Эти LoRA обучены с включённым kv cache.
  4. Сэмплируйте с 30 шагами, CFG 4, сэмплером euler и планировщиком simple.

Предобработчики в рабочих процессах (Canny, Depth Anything V2, DWPose, BAE, LineArt, HED, UniFormer) берутся из пакета ControlNet Auxiliary Preprocessors, а не из ядра ComfyUI. Если карта у вас уже есть, пропустите предобработчик и подайте изображение напрямую в ноду кодирования.

Контроль по сегментации

Области плоского цвета от UniFormer, перерисованные под каждый промпт

Чем это отличается от официального адаптера

Официальный адаптер MOSS-Image: управление цветом/глубиной стартует из шума и принимает карту регионов вместе с картой глубины в качестве условия. Эти LoRA, наоборот, трактуют карту как референсное изображение, поэтому они работают с любым из семи типов карт и поэтому весь внешний вид задаёт промпт. Обратная сторона в том, что сильный контроль может держать слишком крепко: в карточках рекомендуется сила 0.7, когда композиция выглядит застывшей.

Загрузки

КонтрольВеса и рабочий процесс
CannyMOSS-Image-canny-controlnet
ГлубинаMOSS-Image-depth-controlnet
ПозаMOSS-Image-pose-controlnet
NormalMOSS-Image-normal-controlnet
LineartMOSS-Image-lineart-controlnet
ScribbleMOSS-Image-scribble-controlnet
СегментацияMOSS-Image-segmentation-controlnet

Базовая модель: OpenMOSS-Team/MOSS-Image-SFT. В каждом репозитории есть свой moss_image_<type>_control.json, который можно перетащить в ComfyUI, когда три базовых файла уже на месте.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
Control LoRA MOSS-Image в ComfyUI: Canny, глубина, поза | ComfyUI Wiki