Fizgig v7:新增 Anima 与 SDXL 支持,所有模型均可完整微调

ComfyUI Wikinews

Fizgig v7 新增 Anima 与 SDXL 训练,为全部六款支持的模型提供完整微调(最低 8 GB 显卡即可),并带来社区可扩展的完整驱动系统。

Fizgig v7.0.0 于 10 月 5 日发布,将 Anima 和 SDXL 引入工作室,并让完整微调成为其支持的每一个模型的功能(GitHub | 发行说明 | 驱动指南)。v7.0.1 补丁于同一天发布。

Fizgig LoRA 与微调工作室

Fizgig:面向 Flux 2 Klein 9B、Krea 2、MiniMax H3、Qwen Image 2.1、SDXL 和 Anima 的训练、微调、修复与探索工作台

该工作室此前已能为 Flux 2 Klein、Krea 2、MiniMax H3 和 Qwen Image 2.1 训练 LoRA、LoKR 和微调。版本 7 一次性填补了两处空白:加入两款呼声最高的早期模型家族,并让整个工作台可用于社区驱动所描述的任何模型。

两款新的基础模型

模型说明
Anima(实验性)CircleStone Labs 的动漫与插画模型,配备完整工作台。其非商业许可一并沿用。
SDXL(实验性)任意单文件 SDXL checkpoint。其 VAE 与文本编码器直接从 checkpoint 读取。默认下载 Juggernaut XL v9,同时提供 Illustrious XL。

两者都附带 LoRA 与 LoKR 预设、可由提示词对或照片对生成的 slider LoRA,以及微调。Anima 带有 Character 预设、Style 预设和模型卡自带的 Official recipe;SDXL 带有 Strong、Standard 和 Slider 预设,并启用 EMA。社区 SDXL LoRA 也可在工作台中加载,包括 kohya 文件、LoCon,以及 Lightning、LCM 等加速 LoRA。超过 CLIP 77 token 的内容会像 ComfyUI 那样分块编码,因此长描述文本不再被截断。

每个模型都能微调

现在,全部六款模型都可在训练选项卡上通过单一的 训练类型 选项进行微调,这对 Klein 9B、SDXL 和 Anima 而言是新增功能。每次运行都会写出一个完整 checkpoint,用以替换基础文件。

变化最大的是内存规划。微调不再总是一次只训练一部分,而是按显卡能容纳的程度在每次 pass 中尽可能多地装入模型,并在需要时从系统内存流式加载未参与训练的模块。在足够大的显卡上,整个模型一次 pass 即可训练;在小显卡上则拆分进行。

模型微调最低要求单次 pass 训练整个模型
Anima8 GB10 GB
SDXL8 GB10 GB
Qwen Image 2.112 GB24 GB
Klein 9B16 GB32 GB
Krea 216 GB48 GB
MiniMax H316 GB48 GB

在 32 GB 显卡上,Krea 2 需要两次 pass 而非四次,MiniMax H3 需要三次。在作者的测试中,把所有部分一起训练完成整个模型的速度,比四次独立 pass 快约 2.6 倍(在 Anima 上测得)。新增的 窗口大小 设置可限制同时训练的部分数量,适合接近显存上限的显卡;训练选项卡会在运行开始前显示当前显卡将采用的方案。

Fizgig 工作台

工作台工具(此处为 Gizmo 视频片段准备视图)可在每个模型上运行,并且现在共享同一套驱动接口。

驱动系统已完整

Klein 与 MiniMax H3 现在运行在 Krea 2、Qwen Image 2.1、SDXL 和 Anima 所使用的同一套驱动系统之上。模型只需描述一次,即以其文件、LoRA 格式以及位于标准接口之后的模型代码来描述,训练、预览、下载、内存规划和全部五个工作台工具都基于该描述工作。

实际效果是,为某一个模型构建的功能会对其他模型也可用,社区也可以添加模型。编写驱动的指南 涵盖了代码的调用位置、静态图像模型与视频模型的演练、每一项可选能力,以及一个已完成模型应包含内容的检查清单。SDXL、Anima 与 Qwen Image 2.1 都是依照该指南构建的,欢迎为新模型或更早的模型提交 pull request。

工作台更新

  • Repair Studio 现在在所有模型上仅重新渲染滑块改动之后的模块,且画面与完整渲染一致。该功能默认开启,可在 Setup 卡片上关闭。
  • Checkpoint to LoRA 适用于所有微调,包括 SDXL 与 Anima。它可将微调后的 checkpoint 转换为指定秩的 LoRA;作者指出,从微调中提取的 LoRA 比在相同秩下直接训练的 LoRA 更强。
  • LoHa LoRA 可在 Profiler 与 Extract 中加载。Extract 会将 LoHa 转换为标准 LoRA。
  • 负面提示词 获得正式的多行输入框,并带有会记住编辑内容的按模型默认值。无冲突的排除项现在按模型保存,因此 Krea 2 的排除项不再影响同一批照片上的 SDXL。
  • 可加载更多 LoRA 格式:以 diffusers 命名保存的 SDXL LoRA 现在处处可用,此外还支持 kohya、LyCORIS、PEFT 和 ComfyUI 风格的文件。

保存的 LoRA、LoKR、Repair Studio 保存结果和 Extract 输出保持相同格式,并通过 ComfyUI 的标准 LoRA 加载器加载。

获取方式

现有安装可通过 update_fizgig.bat 更新,AMD 用户则使用 update_fizgig_rocm.bat。Preferences 选项卡中的 Anima 与 SDXL 部分会下载各自的模型,已保存的 H3 设置也会保留。

Fizgig 是独立训练器,而不是 ComfyUI 节点:它保存 kohya 格式的 .safetensors LoRA,可直接放入 ComfyUI/models/loras/。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Fizgig v7:新增 Anima 与 SDXL 支持,所有模型均可完整微调 | ComfyUI Wiki