ZenTrainer 在 ComfyUI 内训练 LoRA,并支持实时样本预览
ZenTrainer 为 ComfyUI 添加 LoRA 训练能力,支持 MOSS Image、Krea 2、FLUX 3、Qwen-Image 2.1、Z-Image、Anima、Fibo 2.0、SDXL 和 MiniMax H3,并提供实时预览和 AMD 支持。
运行页面:最新样本、loss,以及右侧栏中的各项数值。
可训练的模型
MOSS Image、Krea 2、FLUX 3、FLUX.2 Klein、Qwen-Image 2.1、Z-Image、Anima、Fibo 2.0、SDXL 及其微调模型,以及 MiniMax H3 视频。还有更多模型被列为未测试。训练可在 Linux 和 Windows 上通过 NVIDIA(CUDA)或 AMD(ROCm)运行。
简单模式与高级模式
简单模式只需一套预设方案、15 至 40 张照片和一个名称:缺失模型会自动下载,照片会自动打标。高级模式则开放所有选项:LoRA 或 LoKr、遮罩训练、caption dropout、类别保留,以及 AdamW、Prodigy、Lion、CAME、schedule-free 或 8-bit 优化器。
运行过程中,你可以暂停、抽取样本、保存、调整学习率,并在任意 checkpoint 上试用自己写的提示词。验证 loss 会在固定数据集上测量,角色 LoRA 会获得 likeness 评分,多次运行会依次排队执行。
ComfyUI 的 input/ 下任意文件夹都可作为数据集:支持网格或表格视图,标注可就地编辑。
数据集
指向 ComfyUI input/ 下的任意文件夹即可。标注可通过 ComfyUI 由 Qwen-VL 或 Gemma 生成,可分别保留长、短两套标注,并可用前缀、后缀或查找替换批量编辑。SAM3 可以自动找到主体并将训练遮罩到该主体上,你也可以手动绘制遮罩。
新建运行:选定模型后相关文件会自动填充,并对常见错误给出警告。
安装
从 ComfyUI Manager 安装,重新启动,然后点击顶栏的莲花图标,或打开 /zentrainer/。它需要 ComfyUI 0.41 或更新版本,LoRA 会输出到 output/zentrainer/loras/。
该仓库还提供了启动脚本,会在其旁边安装一个固定版本的 ComfyUI,因此主安装的更新不会破坏训练运行,同时它仍会从原位置读取你的模型。Docker 镜像适用于租用 GPU 的场景,并附带一键 Runpod 模板。macOS 暂不支持。
获取方式
ZenTrainer 位于 github.com/Nynxz/ZenTrainer(MIT,v0.4.1)。数据集、运行记录和导出的 LoRA 都保留在你的 ComfyUI 文件夹内。
评论
使用 GitHub 登录后即可参与讨论。