MiniMax H3 Motion Adapter for ComfyUI:快速动作的真实 240fps 运动

ComfyUI Wikinews

MATLOWAI 发布了针对 ComfyUI-MAINodes 的 H3 de-rope pass 的 rank-16 运动适配器,基于真实 240 fps 相机帧重新训练;此外还包括 Repair Plan/Splice 和 DyRoPE 节点。

MiniMax-H3 运动适配器 (Hugging Face | GitHub) 是一个 rank-16 LoRA,使 ComfyUI-MAINodes 中的 de-rope pass 在快速运动中表现正常。后续的 temporal-expansion ladder 使用来自公共 GOPRO_Large 240 fps 数据集的真实帧对相同的配方进行了重新训练,相比普通插值,将 held-token 错误减少了一半左右。

问题所在

MAINodes 的 Motion Lab 在拉伸时钟(即“de-rope")上重新生成 MiniMax H3 片段的高速跨度,并将其恢复回真实时间。在极快运动中,基础模型会产生过度输出:结果在帧与帧之间交替前进和跳跃,且该 pass 生成的运动量比镜头要求的多出约 40%(测量率为 1.416 而非 1.0)。

运动适配器是一个普通的 rank-16 权重增量,无需额外计算,也无需自定义节点。它正是针对该任务训练的:保留运动爆发内的帧,保持其余部分为干净上下文,并预测被保留的 token。额外的时钟仍来自 de-rope 节点;LoRA 仅改变模型在该拉伸时钟上的行为方式。

在四个训练期间未见过的片段上进行测量(打斗、动漫剑环、角色交换、对话特写),与没有适配器的同一工作流对比:

  • 前进/跳跃交替从 0.370 降至 0.134,帧间过度输出从约 1.4 倍降至约 1.01 倍(相同跨度渲染时间从 63.6 秒降至 49.9 秒);
  • 盲测操作员选择,有适配器与无适配器对比,相同种子:7 票支持,0 票反对,1 票无偏好;
  • 它可迁移至 Ref2VA checkpoint,因此一个文件可同时服务于 fl2va 和 ref2va 工作流。

下面的比较片段展示了源素材、基础模型的拉伸 pass 和适配器 pass 的并列对比:

没有适配器时,战士们在帧与帧之间前进和跳跃;有了它(右下角),他们保持镜头要求的速度移动。

时间扩展阶梯

后续版本(2026-08-24)使用真实中间帧对相同的 rank-16、仅注意力结构进行了重新训练:窗口从公共 GOPRO_Large 去模糊数据集中截取(240 fps 来源),降采样至工作帧率并重新扩展,以便 held tokens 与实际相机捕获的帧进行评分。训练中的世界时钟是真实的,每个 token 都标记了其跨越的真实时间。

每 25 个训练步骤都会发布(temporal_expansion/step025 … step375,加上 warm100,每个 63 MB)。held-token 错误,适配器从未见过的场景(无适配器基线 1.23,普通插值 0.26):

step25100175250375
error0.1580.1330.1160.1050.086

曲线从未转折,但数字和人眼对于何时停止存在分歧:步骤 100 是播放首选(快速运动平滑,片段仍感觉像自身),而步骤 375 测量最佳但可能显得过度平滑。在静态内容探测中,该系列不会发明运动,而是落在插值底线之下而非之上。

MAINodes 更新

同一更新向 ComfyUI-MAINodes 添加了新的 alpha 节点(2026-08-24):H3 Repair Plan / Repair Splice(重新渲染坏帧范围,对齐到完整 token,通过最近的镜头剪辑重新生成,将其他所有内容按位精确拼接回来),H3 DyRoPE(按块时钟预设:“时序保真”块 30-49,“最小闪烁”40-49),H3 V2V Init 上的音频前缀冻结,H3 Drift Control(链条停止褪色,连接在 4 个链接中保持 0.85-0.89),H3 Delta Color Carry(取消 VAE 往返变暗),以及用于 A/B 审查页面的 compare-deck 构建器。

在 ComfyUI 中使用

将文件放入 models/loras/minimax_h3/,并使用标准的 LoraLoaderModelOnly 在提供 de-rope pass 输入的模型上以 strength 1.0 加载,而不是第一个文生视频 pass。现成的工作流随 ComfyUI-MAINodes 作为 examples/motion_pipeline_adapter_api.json 发布。

有效的设置(来自模型卡片):

  • Strength 1.0 是平滑度设置;0.75 生成的对象更少。
  • Inject 是调节旋钮:0.45 用于角色/对话,此处基础模型过度输出严重;0.30 用于身份或道具是交付物的情况。
  • 保持尾部引导开启;仅将适配器应用于 de-rope pass。
  • 边缘粗糙:它在原生关键帧上损失约 1 dB 的锚点保真度,过度校正平静链条(在平静内容上请关闭它),并减弱强颜色 / 稀释粒子效果,在 Ref2VA 和全片段 pass 上最严重。

该适配器采用 MIT 许可证;将其与基础模型一起使用需遵守 MiniMax H3 Community License Agreement。

链接

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
MiniMax H3 Motion Adapter for ComfyUI:快速动作的真实 240fps 运动 | ComfyUI Wiki