pi-H3 让 MiniMax H3 视频在 ComfyUI 中实现 2 到 4 步生成
ComfyUI Wikinews
pi-H3 适配器将带音频的 MiniMax H3 视频在 ComfyUI 中缩减到 2 步或 4 步,并提供一条跳过 VAE 解码器的实验性路径。权重已发布。
pi-H3 将 MiniMax H3 蒸馏为 2 步或 4 步的带同步音频视频生成器。权重、推理代码和 ComfyUI 节点于 11 月 21 日发布。作者为斯坦福大学研究人员 Hansheng Chen、Gordon Wetzstein 和 Leonidas Guibas,另有两位共同作者在 Luma AI 完成了部分工作。
陶土面包师,2 步,1344x768,5 秒,带立体声音频,来自项目自己的图库。
性能表现
| 1344x768,24 fps,带音频 | pi-H3 2 步 | pi-H3 4 步 | Sol-H3 4 步 |
|---|---|---|---|
| 5 秒视频 | 3.81 秒 | 7.30 秒 | 9.48 秒 |
| 10 秒视频 | 9.16 秒 | 17.56 秒 | 24.31 秒 |
| 15 秒视频 | 18.58 秒 | 36.41 秒 | 44.96 秒 |
在单张 B200 上端到端测试,从文本编码到解码后的视频和音频,采用作者的数据并与 Sol-H3 已公布的数字对比。
发布了两类适配器:普通的 2/4 步版本仍通过 H3 VAE 解码,而 DWD 版本在去噪的最后一步预测像素并完全跳过 VAE 解码器。DWD 版本以适用于 ComfyUI 的 INT8 ConvRot 形式提供。1.0 版本将 DWD 精炼器从卷积网络换成了带窗口注意力的更轻量 Transformer,作者称这能带来更平滑的细节运动以及更好的 2 步连贯性。
在 ComfyUI 中运行
- 通过 ComfyUI Manager 安装 ComfyUI-piFlow,或将其克隆到
custom_nodes。它需要 ComfyUI 0.45.0 或更新版本,并要求先移除任何第三方的 pi-H3 或 pi-Flow 扩展。 - 从仓库的
workflows文件夹加载pi-H3-DWD.json或pi-H3.json。pi-H3 Adapter 节点可在 2 步和 4 步之间切换,并设置匹配的 pi-Flow 调度器数值。 - 将
pi_h3_2step_dwd_adapter_int8_convrot.safetensors(或 4 步文件)放入models/loras/,并与来自 Comfy-Org/MiniMax-H3 的minimax_h3_fl2va_pruned_int8_convrot.safetensors配合使用。DWD 工作流仅在关键帧上需要视频 VAE,音频 VAE 则照常使用。
| RTX 3090,DWD 2 步,INT8 | 5 秒 | 10 秒 | 15 秒 |
|---|---|---|---|
| 864x480 | 15.5 秒 | 37.3 秒 | 69.2 秒 |
| 1344x768 | 38.5 秒 | 97.6 秒 | 186.1 秒 |
仅支持 FL2VA 主干:文本、首帧、尾帧或首尾帧。没有 Ref2VA 适配器,因此参考图像条件不可用。
测试者反馈
- Kijai 将两个适配器都转换为适用于 ComfyUI 的标准 H3 LoRA 键,并称其为近期蒸馏模型中“目前最好的 2 步方案”。他对 DWD 不太看好:在使用 INT8 Sol VAE 时,跳过解码器在 5 秒 768p 片段上节省不到一秒,而且 DWD 输出看起来比 VAE 解码的帧更差。
- JohnDopamine 在相同提示词和噪波下对比了 VAE 与 DWD。DWD 在 2 步时表现更稳,VAE 从 4 步起更好,他的结论是普通适配器在 2 步时已足以满足常规使用。
- boop 反馈称,2 步适配器配合 VAE 时看起来没问题,音频比预期更好,不过尚未在快速运动场景中测试。
- 在 DWD 变体上叠加其他 H3 LoRA 可能适得其反:它还会通过像素头训练第 46 至 49 块,因此未使用它训练的适配器可能会与其冲突(Kijai)。
一段 14 秒、2 步、不使用 VAE 解码器的渲染中的一帧。
水下爵士俱乐部,2 步,无 VAE 解码器,1344x768,14 秒。
获取
- 权重和适配器:Lakonik/pi-H3
- 包含速度数据和图库的项目页面:hanshengchen.com/blog/pi-h3
- ComfyUI 工作流、节点列表和文件放置:ComfyUI-piFlow 文档
- 无需安装即可试用:pi-H3 Space
- 现成的 ComfyUI LoRA 转换:Kijai/MiniMax-H3_comfy
评论
使用 GitHub 登录后即可参与讨论。