H3 Continuity Studio 让 MiniMax H3 场景在剪辑之间保持连贯

ComfyUI Wikinews

H3 Continuity Studio 是一个 ComfyUI 节点包,它把 MiniMax H3 镜头排列在时间线上,并将五帧视觉记忆喂给下一个片段,让房间与服装在剪辑后依然保持一致。

H3 Continuity Studio 是一个 ComfyUI 节点包,它把一部影片当作一列 MiniMax H3 片段来拍摄,而不是每次尝试只用一条提示词。每个片段都可以延续上一个片段、切换到新角度、开启新场景,或者由生成的过渡段连接起来;后续片段还能看到更早素材中的五帧窗口,从而让一个房间、一件外套或一栋房子在剪辑之后保持不变。
H3 Continuity Studio 时间线与 H3 Workflow 查看器并排显示

Studio 在普通 H3 工作流之上,把时间线、查看器和片段检查器集成在同一个面板中。

H3 每次生成大约五秒,因此更长的内容就是一串拼接。大多数拼接靠手工完成:复用最后一帧,把它作为首帧喂回去,并祈祷颜色和布局都能保持住。这种失效模式在 Banodoco 上广为人知:第三或第四段开始漂移,解决办法是从更早的位置重新渲染。

这个节点包把这类记录工作搬到了画布上。片段带着各自的提示词、图片、引用槽位和设置排列在时间线上;编辑器可以逐个或按顺序渲染它们,而任意两个片段之间的拼接方式是一项明确的选择,而不是最后一帧接线方式带来的意外结果。

四种拼接方式

时间线区分连续片段之间的四种关系:

  • 继续(Continue):延续上一个片段的上下文,让新片段从动作中途接上。
  • 剪辑(Cut):用新提示词开启一个新目标,而这正是漂移通常出现的地方。
  • 新场景(New scene):开启一个新场景,同时保留影片的视觉历史,因此新提示词定义的是场景设定。
  • 过渡段(Bridge):在两个镜头之间渲染一段简短的生成过渡,而不必重新渲染其中任何一个。

每个片段的多个take会作为候选保留,而不是被覆盖;如果重新渲染了某个被后续片段记住的片段,依赖它的片段会被标记为需要渲染,并在工具提示中说明原因。

在两个镜头之间生成的过渡段片段

一个生成的过渡段位于两个片段之间,因此两个镜头都不必为了让拼接不显眼而重新渲染。

视觉记忆:五帧,从原始 Latent 读取

真正有意思的部分发生在剪辑处。H3 通常只能看到新提示词,因此一个房间、一件外套或一栋房子可能会悄悄改变。视觉记忆把影片更早的时刻作为原生视频引用展示给 H3,并以 <Video N> 的形式写入提示词。

每个被记住的时刻都是一个五帧窗口。它从已保存片段的原始视频 Latent 中读取,并在 Latent 层面交给扩散模型,因此不存在解码、重新编码或像素往返;只有文本编码器会看到它的解码呈现。不涉及任何额外模型、依赖项或补丁。H3 在读取每个时刻之前会先将其对齐到 17 帧边界,因此窗口可能比你选择的时间戳稍早开始。在剪辑处,所有已启用的模式还会额外提供完整前一片段的原始 Latent,正是它在下一个镜头从全新目标开始时承载布局和对象外观。

选取了两个时刻的视觉记忆面板

某个片段设置中已选择的两个时刻,每个都列出了其来源片段和时间。

每个片段可设置四种模式:

模式后续片段能看到什么
同一场景(Same scene)该场景的建立镜头以及前一片段中的一个中点画面;在剪辑处本身不携带任何帧
已选择时刻(Selected moments)最多三个由你从任意更早片段(可跨场景)中挑选的视图,每个视图附带需要保留内容的描述
演员阵容(Cast)当时间线由 Story bible 驱动时,显示每个已排期角色当前的样子,外加地点
关闭(Off)无记忆,片段的行为等同于普通的 H3 生成

已选择时刻是手动路线:选择更早的片段和其已交付素材中的一个时间点,描述要紧的内容(red brick house, blue door, three upstairs windows),并先渲染来源片段。如果来源缺失或已过期,该片段会以“请先渲染来源”的提示停止,而不是生成某种微妙错误的内容。

同一房间的第二个相机角度

左:第一个片段建立的房间。右:另一个角度的后续片段,使用来自第一个片段的已选择时刻渲染。

演示,以及它未能证明的部分

仓库附带 examples/memory_demo.json,这是一部包含一个过渡段的六片段影片:一个客厅、一次切到室外、一段通往门廊视角的过渡、一次切回室内并复用第一个片段的时刻、同一房间的一个角落视角,以及一个持续进行的阅读镜头,该镜头的记忆被关闭,因为延续本身已经携带了前一片段。它以 1024 x 576、24 fps 渲染,携带 39 帧,复现时无需上传任何引用或凭证。

项目的比赛剪辑版:完整影片加上简短的说明段落,时长不到两分钟。

作者对局限说得很明确。回归检查覆盖 Latent 复用、已交付时间偏移、跨剪辑召回、来源失效以及编辑器,但渲染器尚未针对每一种记忆模式进行视觉基准测试。建议的公平测试是:用同样的种子以三种方式(关闭记忆、自动场景记忆、手动挑选视图)渲染,并比较细节保留、拼接处的运动、运行时间和 VRAM 占用。该示例展示的是细节得以保留,并不保证在不同环境下几何完全一致。

安装

将仓库克隆到 ComfyUI/custom_nodes/ComfyUI-H3-Continuity-Studio,并使用与 ComfyUI 相同的 Python 环境运行 pip install -r requirements.txt,或者在 Windows 上使用便携版的 python_embeded/python.exe。重新启动后,加载 examples/h3_story_studio.json,然后将模型加载器指向你自己的 H3 扩散模型、文本编码器、视频 VAE、音频 VAE 以及可选 LoRA:示例记录的是原作者的文件的名称,不会下载任何内容。

Context Windows 需要包含核心 MiniMax H3 上下文窗口节点的 ComfyUI 构建版本,而可选的 Story writer 需要一个单独配置的、兼容 OpenAI 的端点(本地或云端),该端点会接收故事文本,并在启用时接收引用图片。生成仍然需要 GPU 和 H3 权重。可选的 MiniMax 提示词指南文本并未随包附带;节点包在没有它们的情况下也能运行,并会报告缺失的指南。

项目发布节奏很快:11 月 2 日到 11 月 3 日之间发布了五个标签,最新的一个增加了可调整大小的 Studio 面板和时间线缩放,此前的版本则带来了按指南分割、针对已配置工作流的自由宽高比,以及会保留帧指南的已保存故事。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
H3 Continuity Studio 让 MiniMax H3 场景在剪辑之间保持连贯 | ComfyUI Wiki