H3 Continuity Studio: MiniMax H3のカットをまたいだシーン一貫性を保つComfyUIノードパック

Studioは、通常のH3ワークフロー上にタイムライン、ビューア、クリップインスペクタを1つのパネルにまとめます。

H3は1回のパスで約5秒を生成するため、それより長い映像はつなぎ目の連続になります。ほとんどのチェーンは手作業で構築されます。最後のフレームを再利用し、それを最初のフレームとしてフィードバックし、色とレイアウトが保たれることを願うのです。この失敗パターンはBanodocoでよく知られています。3番目や4番目のリンクがずれてしまい、修正するには以前のポイントから再レンダリングする必要があります。

このパックは、その管理作業をキャンバスに移します。クリップはそれぞれ独自のプロンプト、画像、参照スロット、設定を持ってタイムライン上に並びます。エディタはそれらを1つずつ、または順番にレンダリングし、任意の2つのクリップ間のつなぎ目は、最後のフレームがどう配線されていたかによる偶然ではなく、明示的な選択になります。

4種類のつなぎ方

タイムラインは、連続するクリップ間の4つの関係を区別します。

• Continue は前のクリップのコンテキストを引き継ぎ、新しいクリップがアクションの途中から始まります。
• Cut は新しいプロンプトから新しいターゲットを開始します。ここが通常ドリフトが入り込む箇所です。
• New scene は映像の視覚的な履歴を保ちながら新しいシーンを開始するため、新しいプロンプトが設定を定義します。
• Bridge は2つのショットの間に短い生成されたトランジションをレンダリングし、どちらのショットも再レンダリングしません。

各クリップの複数テイクは上書きされず候補として保持されます。後続のクリップが記憶しているクリップを再レンダリングすると、依存するクリップはレンダリングが必要としてマークされ、その理由がツールチップに表示されます。

生成されたブリッジが2つのクリップの間に位置するため、つなぎ目を隠すためにどちらのショットも再レンダリングする必要がありません。

視覚メモリ: オリジナルの潜在から読み取る5フレーム

興味深いのは、カットの際に何が起こるかです。H3は通常、新しいプロンプトしか見ないため、部屋、コート、家が静かに変化してしまいます。視覚メモリは、映像の以前の瞬間をネイティブな動画参照としてH3に見せ、プロンプトには <Video N> として書き込まれます。

記憶される各瞬間は5フレームのウィンドウです。これは保存済みクリップのオリジナル動画の潜在から読み取られ、潜在レベルでdiffusionモデルに渡されます。そのため、デコード、再エンコード、ピクセル単位の往復は発生しません。デコードされた表現を目にするのはテキストエンコーダのみです。追加のモデル、依存関係、パッチは不要です。H3は読み取る前に各瞬間を17フレームの境界にスナップするため、ウィンドウは選択したタイムスタンプよりわずかに前から始まることがあります。カット時には、有効なすべてのモードが前のクリップ全体のオリジナル潜在も供給します。これがレイアウトとオブジェクトの外観を引き継ぎ、次のショットは新しいターゲットから始まります。

1つのクリップの設定で選択された2つの瞬間。それぞれソースクリップと時間が表示されています。

クリップごとに4つのモードが用意されています。

Selected momentsは手動のルートです。以前のクリップとその配信済み映像内の時間を選び、重要な内容（red brick house, blue door, three upstairs windows）を説明し、ソースクリップを先にレンダリングします。ソースが不足している、または古いクリップは、微妙に間違ったものを生成する代わりに「render the source first」というメッセージを出して停止します。

左: 最初のクリップが確立した部屋。右: 別のアングルからの後続クリップで、その最初のクリップから選択した瞬間を使ってレンダリングされています。

デモと、それが証明しないもの

リポジトリには examples/memory_demo.json が同梱されています。これは1つのブリッジを含む6クリップの映像です。リビングルーム、外へのカット、ポーチの眺めへのブリッジ、最初のクリップの瞬間を再利用して屋内に戻るカット、同じ部屋のコーナービュー、そして継続がすでに前のクリップを引き継いでいるためメモリをオフにした継続的な読書ショットで構成されています。1024 x 576、24 fps、39フレームの引き継ぎでレンダリングされており、再現にアップロード済みの参照や認証情報は不要です。

プロジェクトのコンテスト用カット: 完全な映像と短い解説セクションで、2分未満です。

作者は制限について明確に述べています。回帰チェックは潜在の再利用、配信時間のオフセット、カットをまたいだ想起、ソースの無効化、エディタをカバーしていますが、レンダラーはすべてのメモリモードにわたって視覚的にベンチマークされてはいません。提案されている公平なテストは、同じシードを3通り（メモリオフ、自動シーンメモリ、手動で選択したビュー）でレンダリングし、ディテールの保持、つなぎ目での動き、実行時間、VRAMを比較するというものです。このサンプルは保持されたディテールのデモンストレーションであり、環境をまたいで同一のジオメトリを保証するものではありません。

インストール

リポジトリを ComfyUI/custom_nodes/ComfyUI-H3-Continuity-Studio にクローンし、ComfyUIと同じPython環境で pip install -r requirements.txt を実行します。Windowsではポータブルビルドの python_embeded/python.exe を使うこともできます。再起動して examples/h3_story_studio.json をロードし、モデルローダーを自分のH3 diffusionモデル、テキストエンコーダ、動画VAE、音声VAE、およびオプションのLoRAに向けてください。サンプルには元の作者のファイル名が記録されているだけで、何もダウンロードされません。

Context Windowsには、コアのMiniMax H3コンテキストウィンドウノードをすでに含むComfyUIビルドが必要です。また、オプションのStory writerには、別途設定したOpenAI互換エンドポイント（ローカルまたはクラウド）が必要で、これがストーリーテキストと、有効な場合は参照画像を受け取ります。生成には引き続きGPUとH3の重みが必要です。オプションのMiniMaxプロンプトガイドのテキストは同梱されていません。パックはそれなしでも動作し、不足しているガイドを報告します。

このプロジェクトは急速にリリースを重ねています。11月2日から11月3日までの間に5つのタグが公開され、最新のものではサイズ変更可能なStudioペインとタイムラインズームが追加されました。それ以前のものでは、ガイドでの分割、設定済みワークフロー向けの自由なアスペクト比、フレームガイドを保持する保存済みストーリーが導入されています。