H3 Motion Context v0.2.0: MiniMax H3クリップのシームレスなチェーン接続

ComfyUI Wikinews

H3 Motion Context v0.2.0は、MiniMax H3クリップをチェーン接続し、カットをまたいでモーションとオーディオが継続するようにします。リファレンスモードをサポートし、結合部分の目に見える継ぎ目をなくします。

H3 Motion Context は8月9日に v0.2.0 をリリースしました。このカスタムノードパックは、ComfyUI内でMiniMax H3クリップをチェーン接続し、カットをまたいでモーションとオーディオが本当に継続するようにします。クリップAを生成し、その最後のフレームとオーディオをノードに渡すと、クリップBはAが終わったところから続きます。同じモーション、同じ速度、同じ方向で、オーディオは再合成ではなく継続されます。

H3 Motion Context v0.2.0デモ

v0.2.0の新機能

  • 目に見える継ぎ目がなくなります。 context_latent を接続すると、ピン留めされたフレームは、ピクセルにデコードして再エンコードする代わりに、前のクリップの潜在表現から直接切り出されます。継ぎ目での色ずれやコントラストの段差がなく、デコード、リサイズ、VAEパスをスキップするため高速です。
  • リファレンスモードがチェーン接続に対応。 Ref2VAグラフは、独自の画像・ビデオ・オーディオリファレンスを保持したまま、それらに加えて継続用オーディオが追加されます。以前はノードがリファレンスリストを上書きしていたため、チェーン接続を有効にすると警告なしにすべてのリファレンスが失われていました。この設計は seitanism(Banodoco MiniMax H3シームレス拡張スレッド)によるもので、@ethanfelのフォークで最初に実装されました。この実装は独立したものですが、両者にクレジットを付けています。
  • 5、22、39に加えて、56フレームのコンテキストウィンドウが追加されました。
  • 設定は6つから2つに。 context_lengthaudio_context_length のみで、残りは明確なデフォルト値を持つ定数です。
  • ピン留めされたオーディオがオーディオグリッドにスナップし、一部のウィンドウとクリップ長の組み合わせで発生していた3分の1ステップのずれを修正します。
  • パッチはインポート時ではなく初回使用時にインストールされ、このパック独自のグラフに限定されるため、他のH3ワークフローには影響しません。
  • context_latent 使用中はチェーン途中で解像度を変更できません。 ノードは静かに劣化パスへフォールバックするのではなく、エラーを返して両方の解像度を明示します。

仕組み

MiniMax H3は、フレームを時間座標でピン留めし、すべてのサンプリングステップで再注入できます。チェーン接続を妨げていた唯一の要因は、最初または最後以外のピン留めフレームを拒否するComfyUI側のチェックでした。このパックは、ランタイムパッチ(ディスク上のファイルは変更されません)でその制限を解除します。パッチは起動のたびに、前提条件が実行中のComfyUIコードと一致するかを検証します。静かに不正なレンダリングを行うより、明確に拒否する方が良いという方針です。

難しいのはオーディオ側です。H3は画像とサウンドを同時に生成するため、ノードは前のクリップのオーディオコンテキストを引き継ぎ、次のセグメントが似たようなサウンドを生成するのではなく、同じオーディオを継続できるようにします。

ワークフロー

v0.2.0リリースには、fl2varef2va の両方のパスを1つのグラフで実行する複合ワークフローが同梱されています。

入手方法

フォルダーを ComfyUI/custom_nodes/ に配置して再起動するとインストールできます。0.2.0でウィジェットの値が変更されていることに注意してください。0.1で保存したワークフローは数値が誤ったスロットに読み込まれるため、Motion Contextノードを削除して追加し直してください。また、H3チェーンパックは同時に1つだけ実行してください。複数のパックが同じ最初/最後のキーフレーム制限を解除するため、他のパックがすでに適用している場合、このノードは実行を拒否します。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…