MOSS-Image:支持布局控制与 ComfyUI 的 5B DiT 模型

ComfyUI Wikinews

OpenMOSS 发布 MOSS-Image,一个 5B 文生图 DiT 模型,支持布局 JSON 控制与出色的文本渲染,提供 Base 与 SFT 两版模型,并在发布当日获得 ComfyUI 支持。

MOSS-Image 是 OpenMOSS 推出的全新 5B 文生图系列(GitHub | 用户指南),于 10 月 16 日发布,包含两个模型:MOSS-Image-Base,保留用于微调的预训练模型;以及 MOSS-Image-SFT,大多数用户应当运行的那一个。它是 FLUX.2 latent 空间中的单流扩散 transformer,搭配原版 Qwen3.5-9B 文本编码器,因此 DiT 是 ComfyUI 需要加载的唯一新组件。核心支持已于同日通过 Comfy-Org/ComfyUI PR #17095 合并(由 Kijai 提交)。

MOSS-Image

MOSS-Image-Base 与 MOSS-Image-SFT 示例。来源:OpenMOSS

它的主打卖点是文字与结构,而非单纯的写实感:模型能渲染出清晰可读的英文与中文文本,支持最长 4K token 的提示词,并新增了 JSON 布局模式,让你先描述场景,再用边界框放置文本框和对象。OpenMOSS 还强调了基础模型的 LoRA 微调,并在混合 GPU 平台上训练了整个系列。

布局控制

在布局模式下,提示词会变成一份 JSON 文档,其中 summary 描述整个场景,items 数组描述各个元素。每个 item 包含 label(text、character 或 object)、caption 和 bbox,文本类 item 还带有需要渲染的字符串。边界框使用 bbox_format: "yxyx",坐标空间为 bbox_coord_space: "abs_centralized",即相对于画布中心的像素偏移。

MOSS-Image 布局边界框

根据布局描述生成的海报,并叠加绘制了边界框。来源:OpenMOSS

由于布局本身是数据,编辑也变得更结构化:修改一段 caption 或移动一个框,只有构图中的对应部分会随之改变。ComfyUI 通过一个新的核心节点 MOSS-Image Layout Prompt 提供这项能力,它可以把用 创建边界框 生成的框转换成模型的布局 JSON。

文本渲染

英文与中文的文本渲染是它最核心的能力,当提示词未指定换行时,模型会自行插入换行。提示词可以是自然语言、booru 风格的标签序列,也可以是布局 JSON,推荐的标签顺序为 Quality、Score、Meta、Year、Character、Series、Artist、General。

MOSS-Image 文本渲染

由单条提示词生成的大量文字构图。来源:OpenMOSS

Base 与 SFT

两个模型共享同一架构与 pipeline。Base 保留了完整的训练信号,且未对推理参数做蒸馏,因此用户指南建议对它使用 50 步以上、CFG 为 3;项目也推荐将它作为 LoRA 训练的起点。SFT 在精选数据上完成微调,OpenMOSS 展示了它在相同提示词下能生成更整齐的文本分组和更有条理的布局。

MOSS-Image-BaseMOSS-Image-SFT
MOSS-Image-BaseMOSS-Image-SFT

推荐设置

设置推荐值
采样器Flow-matching Euler
步数50 步或以上
CFG3(范围 3 到 6)
Shift5
层跳过在第 22 层进行负分支跳过(22、24 和 26 也有帮助)
分辨率推荐 1M、1.5M 或 2M 像素;支持 0.25M(512×512)到 4M,需为 16 的倍数
负面提示词nsfw, worst quality, bad anatomy, watermark, jpeg artifact

根据用户指南,关闭层跳过会让输出看起来更写实,但可能导致精细细节崩坏。

ComfyUI 支持

核心支持在发布当日随 PR #17095 落地:一个 comfy/ldm/moss_image DiT,可原样加载 Hugging Face checkpoint 的键名;Qwen3.5-9B 文本编码器的接线;以及布局提示词节点。该支持是在最新发布标签之后才合并的,因此现有安装需要先更新才能运行。

Comfy-Org/MOSS-Image 存放了标准 ComfyUI 加载器所需的重新打包单文件权重:

文件夹文件
diffusion_modelsmoss_image_sft_bf16(10.2 GB)· moss_image_sft_int8_convrot(5.4 GB)· moss_image_base_bf16(10.2 GB)· moss_image_base_int8_convrot(5.4 GB)
text_encodersqwen3.5_9b_int8_convrot(9.8 GB)· qwen3.5_9b_w4a8_gptq(7.3 GB)
vaeflux2-vae.safetensors(340 MB)

项目仓库还自带原生插件 moss-image,可从 ComfyUI Manager 安装,并通过 MOSS-Image HF Loader 节点加载本地 Diffusers 目录。其示例工作流以 1024×1024、50 步、CFG 3、shift 5、跳过第 22 层运行:

内置工作流需要从 Hugging Face 下载的 Diffusers 模型以及 moss-image 插件。Comfy-Org 重新打包的单文件权重才是配合核心节点使用的那一套。

获取方式

MOSS-Image 示例

MOSS-Image 各类输出横切面。来源:OpenMOSS

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
MOSS-Image:支持布局控制与 ComfyUI 的 5B DiT 模型 | ComfyUI Wiki