Pika H3 Flex 将 MiniMax H3 变成六步 ComfyUI LoRA

ComfyUI Wikinews

Pika 通过后训练将 MiniMax H3 改造为 Pika H3 Flex:一个六步模型,以两个 ComfyUI LoRA 的形式发布,附带三个官方模板和 12 个引用控制。

Pika H3 Flex 是 Pika 对 MiniMax H3 做后训练的成果:同样是 33B 全模态模型,在自建音视频语料库上重新训练,从 50 步教师模型蒸馏到 六步采样,再用奖励学习和偏好优化精修。Pika 在 Hugging Face 上发布了权重,在 GitHub 上开源了推理包,并于 2026 年 10 月 29 日随发布博文一同发布了技术说明。

对 ComfyUI 来说,关键在于 Flex 并不是一种新架构。它以 两个 LoRA 适配器的形式提供,采用原生 MiniMax H3 模块布局,因此可以通过内置的 LoraLoaderModelOnly 节点加载到你已有的 H3 基础模型之上,模板库中还有三个官方模板工作流。

输入帧生成的片段静帧
首帧参考六步输出的其中一帧

乒乓球演示:输入一张静帧,提示词要求在 15 秒的镜头内完成五次预设的相机运动(俯拍、摇臂下降、甩镜、180 度环绕、低角度推轨)。来源:Pika H3 Flex 模型卡

完整的相机运动片段及其生成的配乐,取自 Pika 模型仓库中的展示集。

两个适配器,一套六步调度

Flex 将 H3 的两条条件路径拆分为独立的适配器,与基础模型自身的拆分方式一致:

适配器条件输入任务
FL2VA文本,加上可选的首帧和/或尾帧文生视频(T2V)、首帧(I2V)、尾帧、首尾帧
Ref2VA文本,加上有序的图像、视频和音频引用引用生视频、运动迁移、角色替换、引用引导编辑

Ref2VA 最多接受 9 张图像、3 段视频和 3 段独立音频片段,引用文件总计 12 个,并且至少要有一个图像或视频。每段引用视频或独立音频片段时长须为 2 到 15 秒,且这两类分组的合计时长上限为 15 秒。视频自带的音轨会保留在该视频上,不计入额外的音频文件。

输出原生为 480p 或 768p,覆盖 11 种宽高比,24 fps,文件内混入 32 kHz 立体声音频,请求时长为 5 到 15 秒。H3 的帧网格会向上取整:5 秒请求返回 124 帧,15 秒请求返回 362 帧。

一个连续镜头中的三段独立表演

单条提示词驱动三层阳台上三个独立动画的人物,完成环绕、推进、竖直升降和反向环绕,全程无剪切。

ComfyUI 版本发布

ComfyUI 模板库在 Video 分类下提供了三个模板:video_pika_h3_flex_t2v.json、video_pika_h3_flex_fl2va.json 和 video_pika_h3_flex_ref2va.json,全部记录在 ComfyUI 教程页面。每个模板都将剪枝的 int8 H3 diffusion 模型与对应适配器配对,并运行 Pika 公布的调度方案:使用 ManualSigmas 的 LCM 采样器,通过 BasicGuider 设置 CFG 1.0,适配器强度固定为 1.0。

如果你不加载模板而是自行搭建节点图,有两个细节很重要:

  • sigma 网格是 checkpoint 约定的一部分。 Pika 的清单列出的节点值为 1000/750/500/250/100/40/0,视频 shift 为 12,音频 shift 为 3,并使用新的中间噪声。在通用采样器里选择六步并不能复现该约定。
  • 不要再叠加第二个加速 LoRA。 该适配器已经蒸馏到六步,教程指出在其上再加 turbo 或 Lightning LoRA 会破坏输出。

这些连接器是普通的 BF16 转换版本,并非新的 checkpoint:普通模块保持 rank 128,而融合的 Q/K/V 投影被合并为 rank 384,转换过程还重排了 SwiGLU 的两半以匹配原生 H3 布局。Pika 自己的适配器 readme 明确说明,文件完整性和 tensor 转换已验证,但上传过程中并未验证端到端的 ComfyUI 渲染。因此与参考推理包相比可能会出现一些偏差。

来自 #pika-h3-flex-early 的早期上手反馈与此相符:测试者 NebSH 将六步 960x544 一遍送入 Latent 放大,再加四步 1920x1088 一遍,用时 3 分 17 秒得到 2560x1440 的结果;而 WAS 指出在四步时远处鸟群这类高频细节上会出现闪烁,建议保持六步。

Pika 如何做到六步

技术深度解析描述了在已发布的、经过引导蒸馏的 H3 之上进行的三个后训练阶段:

  1. 监督微调:在自建的、经美学筛选的音视频数据集上进行,覆盖生成与编辑任务,仍使用教师模型的 50 步。
  2. 投影分布匹配蒸馏(PDMD,Wang 等,2026),将采样从 50 步减少到六步。Pika 报告称标准 DMD 在他们的实验中不稳定,而 PDMD 训练更可靠且输出质量更好。
  3. 蒸馏后的奖励学习:通过 ReFL(美学与清晰度)和 DPO(指令遵循、真实感、视觉质量)进行,作为两个独立 LoRA 训练再合并为一个适配器,因此合并后的行为不会增加额外采样步数。

其余工作由一套独立的推理服务栈完成:缓存的与时间步相关的 AdaLN 投影、融合算子、FlashAttention-4,以及带压缩通信的块稀疏注意力。在八块 B300 GPU 上,以 5 秒 768p 带音频运行时,这将完整推理从 3.409 秒缩短到 2.129 秒,加速比 1.60 倍,且 checkpoint 与六步调度保持不变。

数据说明了什么,又没说明什么

Pika 在相同提示词集上以 768p 将 Flex 与官方 MiniMax H3、Fal H3 Max 和 HeyGen Video(质量)进行对比评测,并报告在全部五项视觉与音频质量指标上得分最高:

指标Pika H3 FlexMiniMax H3Fal H3 Max
视频技术质量12.311.710.6
视频美学5.415.285.00
音频美学7.026.856.89
音视频对齐0.2120.2080.216

音视频对齐和文本视频对齐与对比对象大致持平,而这些数字来自 Pika 自己的评测。在他们的盲测成对比较研究中,Flex 在文本与图像条件生成的解剖结构、复杂构图和音频同步上领先,在引用条件生成的视觉风格、构图取景和相机运动上领先。Pika 同时表示,在其他系统中,物理表现、多场景叙事、光照与材质,以及动作密集的引用任务仍然更受偏好。

目前社区的 A/B 测试规模不大,但与一个可用的六步模型相符,而非免费的午餐。Kijai 用同一个 T2V 示例提示词分别以六步运行 DMAD 和 Flex,报告称 DMAD 在该案例中失败;djbfilmz 将六步 Flex 与不带适配器的二十步运行进行比较,表示他会用 Flex 迭代、最终成片再做完整的二十步渲染。教程自身的说法是在单张显卡上约一分钟生成 5 秒 1344x768 片段。

产品广告静帧运动迁移静帧
多镜头产品广告角色与环境引用加一段运动片段

另外两个展示案例:仅凭一个产品引用生成九镜头广告;以及一次运动迁移,从视频中提取动作编排,而身份与风格来自两张静帧。

可用性

仓库中存放了供 Pika 推理包使用的两个 FP32 适配器(fl2va/adapter.safetensors、ref2va/adapter.safetensors,各 2.77 GB),comfy/loras/ 下的 BF16 ComfyUI 转换版本(各 1.96 GB),以及 Diffusers 格式的 H3 基础组件,Pika 称其总计约 210 GB。每个 ComfyUI 模板只加载它所需的 transformer 分区。

Pika 的托管扩展不在下载范围内:从 768p 草稿上采样到 1080p、2K 和 4K,五条分离音频轨(对白、配乐、音效、拟音、环境声),提示词增强以及加速推理服务栈都属于 API 功能。本地开放权重推理覆盖 480p 和 768p。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Pika H3 Flex 将 MiniMax H3 变成六步 ComfyUI LoRA | ComfyUI Wiki