P-H3-Image 在 ComfyUI 中用 pDMD LoRA 实现 2 步出图

ComfyUI Wikinews

pDMD 2 步 LoRA 让 P-H3-Image 在 8 MP 下从 8 步降到 2 步:单个文件、现成的 ComfyUI 工作流、无需自定义节点,每张图约 2.9 秒。

<strong>P-H3-Image</strong> 通常需要 8 步采样。akhaliq 为其打包了 pDMD 2-NFE LoRA,仅一个文件,因此它能够以 2 步、2912 x 2912 分辨率运行,每张图约 2.9 秒(H200 或 RTX PRO 6000)。ComfyUI 只用内置节点即可运行,权重中还附带一个现成的工作流。
原生 P-H3-Image 的 2 步结果使用 pDMD LoRA 的 P-H3-Image 2 步结果
原生模型,2 步使用 pDMD LoRA,2 步

十二个提示词,2 步,shift 12,种子 3,按作者仓库的设置以 2912 x 2912 渲染。不用 LoRA 时,模型在 2 步处仍处于去噪中途。

运行方式

  1. 按照 P-H3-Image-Comfy 配置 P-H3-Image,并将 ComfyUI 更新到最新 master。
  2. 下载 LoRA 到 ComfyUI/models/loras/:
    hf download akhaliq/p-h3-image-pdmd-2step minimax_h3_pdmd_2nfe_comfyui.safetensors --local-dir ComfyUI/models/loras
  3. 打开下方的工作流。与原版 8 步工作流相比有两处改动:在 UNet加载器与采样器之间加入 LoRA加载器(绕过,仅模型),强度设为 1.0;以及用一个 基本调度器 替代 8 步的 自定义Sigmas 网格,调度器设为 simple、2 步、flow shift 为 12。保留 euler、基本引导器,并且不使用 CFG。

此外还有一个浏览器演示,支持在 2、3、4 步下进行文生图和单图编辑。

2 步、3 步还是 4 步

步数结果
2可用:锐利且连贯,但构图会偏离 8 步基线,图形类提示词还可能凭空生成伪文字
3稳妥的折中设置
4最接近基线,是带引号文字和扁平图形的首选

该 LoRA 即 pDMD 2-NFE 适配器(rank 128,alpha 128,作用于相同的 312 个模块,bf16,与上游发布完全一致)。它是为 H3 视频模型蒸馏的,在这里则被合并进 P-H3-Image 的图像 transformer 中。

可选的细节增强

在其上叠加一个 Regenerate-2K 精修器可以补回真实细节:用 2 步渲染 2 MP 草图,放大 2 倍,然后用精修 LoRA 以 sigma 0.7、3 步 Euler 重新生成到 8 MP。作者测得整体每张图约 7 秒,比纯 8 步基线快约 1.7 倍。人像建议用 0.5,脸部保持得更好,但细节更少。

以 sigma 0.7 精修的 2 步草图

2 步草图加上 sigma 0.7 的 Regenerate-2K 处理,同样十二个提示词。

显存占用不变:LoRA 在加载时即被合并,因此 bf16 版本在不用提示词上采样器时仍需约 83 GB,启用 ComfyUI 组件卸载后约 76 GB。

获取方式

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
P-H3-Image 在 ComfyUI 中用 pDMD LoRA 实现 2 步出图 | ComfyUI Wiki