MOSS-Image: DiT на 5B с управлением компоновкой и поддержкой ComfyUI
OpenMOSS выпустила MOSS-Image: DiT на 5B для генерации изображений по тексту с управлением компоновкой через JSON и качественным рендерингом текста, плюс чекпойнты Base и SFT.
MOSS-Image — новое семейство моделей текст в изображение на 5B от OpenMOSS (GitHub | руководство пользователя), выпущенное 16 октября с двумя чекпойнтами: MOSS-Image-Base, чекпойнт после предобучения, сохранённый для дообучения, и MOSS-Image-SFT, модель, которую стоит запускать большинству пользователей. Это однопоточный диффузионный трансформер (DiT) в латентном пространстве FLUX.2 в паре со стандартным текстовым энкодером Qwen3.5-9B, поэтому DiT является единственным новым компонентом, который приходится загружать ComfyUI. Поддержка в ядре была добавлена в тот же день в Comfy-Org/ComfyUI PR #17095 (автор Kijai).
Примеры MOSS-Image-Base и MOSS-Image-SFT. Источник: OpenMOSS
Основная ставка сделана на текст и структуру, а не на голый фотореализм: модель отрисовывает читаемый текст на английском и китайском языках, принимает промпты объёмом до 4K токенов и добавляет режим компоновки JSON, в котором вы описываете сцену, а затем размещаете текстовые блоки и объекты с помощью границ (Bounding Box). OpenMOSS также отмечает тонкую настройку LoRA для базовой модели и обучала семейство на смешанных GPU-платформах.
Управление компоновкой
В режиме компоновки промпт превращается в JSON-документ с summary для всей сцены и массивом items для отдельных элементов. Каждый элемент содержит label (text, character или object), caption и bbox, а текстовые элементы также содержат строку для отрисовки. Границы (Bounding Box) используют bbox_format: "yxyx" в координатах bbox_coord_space: "abs_centralized", которые представляют собой смещения в пикселях от центра холста.
Сгенерированный по описанию компоновки постер с нанесёнными поверх рамками. Источник: OpenMOSS
Поскольку компоновка представлена данными, правки становятся структурными: измените подпись или переместите рамку, и изменится только эта часть композиции. ComfyUI предоставляет это через новый узел ядра MOSS-Image Layout Prompt, который преобразует рамки, созданные с помощью Создать ограничивающие рамки, в JSON-компоновку модели.
Рендеринг текста
Рендеринг текста как на английском, так и на китайском языке является главной возможностью модели, и она сама вставляет переносы строк, если они не указаны в промпте. Промпты могут быть на естественном языке, в виде последовательности тегов в стиле booru или в виде JSON-компоновки; рекомендуемый порядок тегов: Quality, Score, Meta, Year, Character, Series, Artist, General.
Сгенерированные из одного промпта композиции с большим количеством текста. Источник: OpenMOSS
Base против SFT
Оба чекпойнта используют одну и ту же архитектуру и pipeline. Base сохраняет полный обучающий сигнал и не проходит дистилляцию параметров вывода, поэтому руководство пользователя рекомендует для него 50 шагов и более и CFG 3; проект рекомендует его как отправную точку для обучения LoRA. SFT дообучен на отобранных данных, и OpenMOSS показывает, что на одном и том же промпте он даёт более аккуратную группировку текста и более упорядоченную компоновку.
 |  |
|---|---|
| MOSS-Image-Base | MOSS-Image-SFT |
Рекомендуемые настройки
| Параметр | Рекомендация |
|---|---|
| Сэмплер | Flow-matching Euler |
| Шаги | 50 или более |
| CFG | 3 (диапазон от 3 до 6) |
| Shift | 5 |
| Пропуск слоёв | Пропуск негативной ветви на слое 22 (22, 24 и 26 также помогают) |
| Разрешение | Рекомендуется 1M, 1.5M или 2M пикселей; поддерживается от 0.25M (512×512) до 4M, кратные 16 |
| Негативный промпт | nsfw, worst quality, bad anatomy, watermark, jpeg artifact |
Отключение пропуска слоёв делает выход более реалистичным, но может разрушить мелкие детали, согласно руководству пользователя.
Поддержка ComfyUI
Поддержка в ядре появилась в день релиза в PR #17095: DiT comfy/ldm/moss_image, который загружает ключи чекпойнта Hugging Face как есть, подключение текстового энкодера Qwen3.5-9B и узел компоновочного промпта. Поддержка была добавлена после последнего релизного тега, поэтому существующую установку придётся обновить, чтобы её запустить.
Comfy-Org/MOSS-Image содержит перепакованные однофайловые веса, которые ожидают стандартные загрузчики ComfyUI:
| Папка | Файлы |
|---|---|
diffusion_models | moss_image_sft_bf16 (10.2 GB) · moss_image_sft_int8_convrot (5.4 GB) · moss_image_base_bf16 (10.2 GB) · moss_image_base_int8_convrot (5.4 GB) |
text_encoders | qwen3.5_9b_int8_convrot (9.8 GB) · qwen3.5_9b_w4a8_gptq (7.3 GB) |
vae | flux2-vae.safetensors (340 MB) |
Репозиторий проекта также поставляется с собственным нативным плагином moss-image, который устанавливается через ComfyUI Manager и загружает локальную директорию Diffusers через узел MOSS-Image HF Loader. Его пример рабочего процесса выполняет 1024×1024 при 50 шагах, CFG 3, shift 5 и пропуске слоя 22:
moss-image. Однофайловые веса из перепаковки Comfy-Org предназначены для использования с узлами ядра.
Доступность
- Веса: MOSS-Image-Base и MOSS-Image-SFT на Hugging Face, зеркало на ModelScope.
- ComfyUI: поддержка в ядре в PR #17095, перепакованные веса в Comfy-Org/MOSS-Image и собственный плагин проекта через ComfyUI Manager.
- Попробовать без установки: Hugging Face Space.
- Документация: домашняя страница проекта, руководство пользователя и технический отчёт.
Подборка выходов MOSS-Image. Источник: OpenMOSS
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.