Open-H3-Regenerate-2K:MiniMax H3 的开源 4K 精修方案

ComfyUI Wikinews

NVlabs Sana 发布 Open-H3-Regenerate-2K,这是一个开源精修 LoRA,仅需三个去噪步即可将 MiniMax H3 草稿重绘至 2K 与 4K。

Open-H3-Regenerate-2K 是 NVlabs Sana 团队为 MiniMax 的 H3-Regenerate-2K 阶段提供的开源替代方案。该阶段是 H3 pipeline 的后半部分,负责将已完成的 768P 草稿重绘到更高分辨率。托管版本的这个阶段并不公开权重,因此团队在冻结的 H3 transformer 与视频 VAE 之上,将其重建为单个精修 LoRA,并把权重发布在 Hugging Face 上,同时提供代码与项目主页。

该精修器接收 384P、512P、576P 或 768P 的草稿,输出原生 768P、1080P、2K(2560x1440)或 4K(3840x2160)、时长 5 至 15 秒的视频片段,仅需三个去噪步,而非完整的采样流程。默认情况下,它使用来自 StreamRender-H3 的 24 层快速 H3 VAE 进行解码,而不是已发布的解码器。

MiniMax H3 草稿Open-H3-Regenerate-2K
草稿画面,相同裁剪区域在 2K 下重绘

同一画面、同一窗口,取自项目自带的对比图集,将官方 H3-Regenerate-2K API 的裁剪图与开源精修器的结果并排呈现。来源:项目主页

精修器替代了什么

H3 采用两阶段生成:基础模型先在低分辨率下确定内容与运动,随后由重绘阶段在全尺寸下重绘人脸、织物、毛发和植被。八月只发布了第一阶段的权重;第二阶段以托管 API 的形式存在,接收未经修改的 H3 768P 输出并返回 2K 结果。

Open-H3-Regenerate-2K 沿用同样的拆分方式,并将第二阶段开源。输入并不局限于 H3 基础模型:该项目演示了由 LTX-2 和 SANA-Video 在 1024x576 下生成的草稿,精修器会将这些草稿的布局、颜色和运动迁移到更大的网格上。

三个步如何完成工作

草稿只编码一次,随后由 3D 卷积 latent 上采样器将 latent 直接放大到目标网格,中间无需解码与重编码。放大后的 latent 被重新加噪至 sigma 0.909,并以三个 Euler 步(0.909、0.857、0.667 至 0)去噪,同时关闭 classifier-free guidance,因此每一步都是全分辨率下的一次 transformer 调用。

三个 adapter 共同承担少步行为,发布版本通过沿 rank 轴拼接各自的因子,将它们合并为单个文件:

  • Open-H3 精修器本身,第 5000 步 EMA,rank 384
  • LightX2V FL2VA Turbo v1.2,rank 128
  • LMS Sharp v1.0,rank 64

合并后的 LoRA 在 312 个线性层上为 rank 576,以 FP32 存储,并与 Sharp 的时间步曲线分支并列,这些分支被保留为独立模块,因为它们读取的是 8 维曲线而非层输入。项目的合并校验显示,合并后的 delta 与三个独立 adapter 的相对误差为 2.2e-8。

速度与基准测试

团队在单张 B200 上测量了一段 5 秒视频,从 768P latent 到 2560x1440,预热后取三次运行的中位数。使用 SoL-Engine 前向与快速 VAE 解码器时,latent 上采样、三个精修步和 VAE 解码共耗时 22.45 秒;而使用标准 diffusers 前向搭配已发布解码器则需 87.26 秒。性能提升主要来自跳过解码与重编码:快速解码器处理 2K 片段只需 1.58 秒,而非约 15 秒。

在 RefinerBench-150 上,两套系统均以 2560x1440 运行,团队报告其在全部三个 UniPercept 维度以及 VBench 的美学质量、成像质量和主体一致性上均获得高于官方 API 的分数。在一项包含 200 次判断的盲测研究中,开源精修器的偏好率为 87%。

MiniMax H3 草稿Open-H3-Regenerate-2K
草稿画面,第二个场景在 2K 下重绘

来自同一对比图集的第二组裁剪对比。来源:项目主页

可用性

该精修器目前没有官方 ComfyUI 节点。参考实现是 Sana 仓库中的 Python CLI(Linux、Python 3.11、PyTorch 2.11 与 CUDA 13.0),download.py 辅助脚本会拉取权重、合并后的 LoRA、latent 上采样器和快速 VAE 解码器。

ComfyUI 用户已自行完成移植:Kijai 将精修器单独发布为 rank 384 的 LoRA,以便与其他蒸馏模型搭配使用;完整适配版 LoRA 的社区转换版本也已出现在 Hugging Face 上(father558、DrakenZA)。转换者指出,直接转换会得到错误的权重,因为 Diffusers 布局需要经过 SwiGLU 变换,所以未做该步骤的转换结果会表现为损坏。

仓库中列出了精修器 LoRA、快速 VAE 解码器(1.62B 参数)以及一份未修改的 H3 Diffusers 组件副本,因此完整的 768P 到 2K 路径无需 MiniMax API 即可运行。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Open-H3-Regenerate-2K:MiniMax H3 的开源 4K 精修方案 | ComfyUI Wiki