pi-H3 让 MiniMax H3 视频在 ComfyUI 中实现 2 到 4 步生成

ComfyUI Wikinews

pi-H3 适配器将带音频的 MiniMax H3 视频在 ComfyUI 中缩减到 2 步或 4 步,并提供一条跳过 VAE 解码器的实验性路径。权重已发布。

pi-H3 将 MiniMax H3 蒸馏为 2 步或 4 步的带同步音频视频生成器。权重、推理代码和 ComfyUI 节点于 11 月 21 日发布。作者为斯坦福大学研究人员 Hansheng Chen、Gordon Wetzstein 和 Leonidas Guibas,另有两位共同作者在 Luma AI 完成了部分工作。

陶土面包师,2 步,1344x768,5 秒,带立体声音频,来自项目自己的图库。

性能表现

1344x768,24 fps,带音频pi-H3 2 步pi-H3 4 步Sol-H3 4 步
5 秒视频3.81 秒7.30 秒9.48 秒
10 秒视频9.16 秒17.56 秒24.31 秒
15 秒视频18.58 秒36.41 秒44.96 秒

在单张 B200 上端到端测试,从文本编码到解码后的视频和音频,采用作者的数据并与 Sol-H3 已公布的数字对比。

发布了两类适配器:普通的 2/4 步版本仍通过 H3 VAE 解码,而 DWD 版本在去噪的最后一步预测像素并完全跳过 VAE 解码器。DWD 版本以适用于 ComfyUI 的 INT8 ConvRot 形式提供。1.0 版本将 DWD 精炼器从卷积网络换成了带窗口注意力的更轻量 Transformer,作者称这能带来更平滑的细节运动以及更好的 2 步连贯性。

在 ComfyUI 中运行

  1. 通过 ComfyUI Manager 安装 ComfyUI-piFlow,或将其克隆到 custom_nodes。它需要 ComfyUI 0.45.0 或更新版本,并要求先移除任何第三方的 pi-H3 或 pi-Flow 扩展。
  2. 从仓库的 workflows 文件夹加载 pi-H3-DWD.json 或 pi-H3.json。pi-H3 Adapter 节点可在 2 步和 4 步之间切换,并设置匹配的 pi-Flow 调度器数值。
  3. 将 pi_h3_2step_dwd_adapter_int8_convrot.safetensors(或 4 步文件)放入 models/loras/,并与来自 Comfy-Org/MiniMax-H3 的 minimax_h3_fl2va_pruned_int8_convrot.safetensors 配合使用。DWD 工作流仅在关键帧上需要视频 VAE,音频 VAE 则照常使用。
RTX 3090,DWD 2 步,INT85 秒10 秒15 秒
864x48015.5 秒37.3 秒69.2 秒
1344x76838.5 秒97.6 秒186.1 秒

仅支持 FL2VA 主干:文本、首帧、尾帧或首尾帧。没有 Ref2VA 适配器,因此参考图像条件不可用。

测试者反馈

  • Kijai 将两个适配器都转换为适用于 ComfyUI 的标准 H3 LoRA 键,并称其为近期蒸馏模型中“目前最好的 2 步方案”。他对 DWD 不太看好:在使用 INT8 Sol VAE 时,跳过解码器在 5 秒 768p 片段上节省不到一秒,而且 DWD 输出看起来比 VAE 解码的帧更差。
  • JohnDopamine 在相同提示词和噪波下对比了 VAE 与 DWD。DWD 在 2 步时表现更稳,VAE 从 4 步起更好,他的结论是普通适配器在 2 步时已足以满足常规使用。
  • boop 反馈称,2 步适配器配合 VAE 时看起来没问题,音频比预期更好,不过尚未在快速运动场景中测试。
  • 在 DWD 变体上叠加其他 H3 LoRA 可能适得其反:它还会通过像素头训练第 46 至 49 块,因此未使用它训练的适配器可能会与其冲突(Kijai)。
水下爵士俱乐部

一段 14 秒、2 步、不使用 VAE 解码器的渲染中的一帧。

水下爵士俱乐部,2 步,无 VAE 解码器,1344x768,14 秒。

获取

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
pi-H3 让 MiniMax H3 视频在 ComfyUI 中实现 2 到 4 步生成 | ComfyUI Wiki