H3 Continuity Studio 让 MiniMax H3 场景在剪辑之间保持连贯
H3 Continuity Studio 是一个 ComfyUI 节点包,它把 MiniMax H3 镜头排列在时间线上,并将五帧视觉记忆喂给下一个片段,让房间与服装在剪辑后依然保持一致。
Studio 在普通 H3 工作流之上,把时间线、查看器和片段检查器集成在同一个面板中。
H3 每次生成大约五秒,因此更长的内容就是一串拼接。大多数拼接靠手工完成:复用最后一帧,把它作为首帧喂回去,并祈祷颜色和布局都能保持住。这种失效模式在 Banodoco 上广为人知:第三或第四段开始漂移,解决办法是从更早的位置重新渲染。
这个节点包把这类记录工作搬到了画布上。片段带着各自的提示词、图片、引用槽位和设置排列在时间线上;编辑器可以逐个或按顺序渲染它们,而任意两个片段之间的拼接方式是一项明确的选择,而不是最后一帧接线方式带来的意外结果。
四种拼接方式
时间线区分连续片段之间的四种关系:
- 继续(Continue):延续上一个片段的上下文,让新片段从动作中途接上。
- 剪辑(Cut):用新提示词开启一个新目标,而这正是漂移通常出现的地方。
- 新场景(New scene):开启一个新场景,同时保留影片的视觉历史,因此新提示词定义的是场景设定。
- 过渡段(Bridge):在两个镜头之间渲染一段简短的生成过渡,而不必重新渲染其中任何一个。
每个片段的多个take会作为候选保留,而不是被覆盖;如果重新渲染了某个被后续片段记住的片段,依赖它的片段会被标记为需要渲染,并在工具提示中说明原因。
一个生成的过渡段位于两个片段之间,因此两个镜头都不必为了让拼接不显眼而重新渲染。
视觉记忆:五帧,从原始 Latent 读取
真正有意思的部分发生在剪辑处。H3 通常只能看到新提示词,因此一个房间、一件外套或一栋房子可能会悄悄改变。视觉记忆把影片更早的时刻作为原生视频引用展示给 H3,并以 <Video N> 的形式写入提示词。
每个被记住的时刻都是一个五帧窗口。它从已保存片段的原始视频 Latent 中读取,并在 Latent 层面交给扩散模型,因此不存在解码、重新编码或像素往返;只有文本编码器会看到它的解码呈现。不涉及任何额外模型、依赖项或补丁。H3 在读取每个时刻之前会先将其对齐到 17 帧边界,因此窗口可能比你选择的时间戳稍早开始。在剪辑处,所有已启用的模式还会额外提供完整前一片段的原始 Latent,正是它在下一个镜头从全新目标开始时承载布局和对象外观。
某个片段设置中已选择的两个时刻,每个都列出了其来源片段和时间。
每个片段可设置四种模式:
| 模式 | 后续片段能看到什么 |
|---|---|
| 同一场景(Same scene) | 该场景的建立镜头以及前一片段中的一个中点画面;在剪辑处本身不携带任何帧 |
| 已选择时刻(Selected moments) | 最多三个由你从任意更早片段(可跨场景)中挑选的视图,每个视图附带需要保留内容的描述 |
| 演员阵容(Cast) | 当时间线由 Story bible 驱动时,显示每个已排期角色当前的样子,外加地点 |
| 关闭(Off) | 无记忆,片段的行为等同于普通的 H3 生成 |
已选择时刻是手动路线:选择更早的片段和其已交付素材中的一个时间点,描述要紧的内容(red brick house, blue door, three upstairs windows),并先渲染来源片段。如果来源缺失或已过期,该片段会以“请先渲染来源”的提示停止,而不是生成某种微妙错误的内容。
左:第一个片段建立的房间。右:另一个角度的后续片段,使用来自第一个片段的已选择时刻渲染。
演示,以及它未能证明的部分
仓库附带 examples/memory_demo.json,这是一部包含一个过渡段的六片段影片:一个客厅、一次切到室外、一段通往门廊视角的过渡、一次切回室内并复用第一个片段的时刻、同一房间的一个角落视角,以及一个持续进行的阅读镜头,该镜头的记忆被关闭,因为延续本身已经携带了前一片段。它以 1024 x 576、24 fps 渲染,携带 39 帧,复现时无需上传任何引用或凭证。
项目的比赛剪辑版:完整影片加上简短的说明段落,时长不到两分钟。
作者对局限说得很明确。回归检查覆盖 Latent 复用、已交付时间偏移、跨剪辑召回、来源失效以及编辑器,但渲染器尚未针对每一种记忆模式进行视觉基准测试。建议的公平测试是:用同样的种子以三种方式(关闭记忆、自动场景记忆、手动挑选视图)渲染,并比较细节保留、拼接处的运动、运行时间和 VRAM 占用。该示例展示的是细节得以保留,并不保证在不同环境下几何完全一致。
安装
将仓库克隆到 ComfyUI/custom_nodes/ComfyUI-H3-Continuity-Studio,并使用与 ComfyUI 相同的 Python 环境运行 pip install -r requirements.txt,或者在 Windows 上使用便携版的 python_embeded/python.exe。重新启动后,加载 examples/h3_story_studio.json,然后将模型加载器指向你自己的 H3 扩散模型、文本编码器、视频 VAE、音频 VAE 以及可选 LoRA:示例记录的是原作者的文件的名称,不会下载任何内容。
Context Windows 需要包含核心 MiniMax H3 上下文窗口节点的 ComfyUI 构建版本,而可选的 Story writer 需要一个单独配置的、兼容 OpenAI 的端点(本地或云端),该端点会接收故事文本,并在启用时接收引用图片。生成仍然需要 GPU 和 H3 权重。可选的 MiniMax 提示词指南文本并未随包附带;节点包在没有它们的情况下也能运行,并会报告缺失的指南。
项目发布节奏很快:11 月 2 日到 11 月 3 日之间发布了五个标签,最新的一个增加了可调整大小的 Studio 面板和时间线缩放,此前的版本则带来了按指南分割、针对已配置工作流的自由宽高比,以及会保留帧指南的已保存故事。
评论
使用 GitHub 登录后即可参与讨论。