ComfyUI H3 Motion Context MultiRef アップデート6:ミュージックビデオとAVワークフロー

ComfyUI Wikinews

ComfyUI H3 Motion Context MultiRef アップデート6は、長時間のMiniMax H3ワークフローを再構築します:20スロットのミュージックビデオチェーンと、シームレスな音声と直接ストリーミングを備えたAV拡張チェーンです。

H3 Motion Context MultiRefは8月17日にアップデート6を公開しました。ComfyUI-H3-Motion-Contextのフォークである本ツールは、Music VideoAV Extensionの両方の長時間ワークフローを、チェックポイント不要の直接潜在チェーンとして再構築します。最終結果はVideoHelperSuiteへストレートにストリーミングされ、従来の長時間H3グラフで必要だった大規模なフルムービーRAM割り当てを排除します。

同梱のミュージックビデオデモ:1つのマスターソングを中心に、2つの参照画像から生成された6つのクリップ。

アップデート6での変更点

  • チェックポイント不要の直接潜在チェーン。 両方の長時間ワークフローは、各サンプラーの動画潜在テールを次のマスク済みコンテキストノードへストレートに渡します。アップデート5のディスクチェックポイントノードは登録されなくなりました。
  • 直接ストリーミング出力。 新しい最終出力ノードは一度に1つのクリップをデコードし、完成したフレームをVideoHelperSuiteへストリーミングします。完全な最終IMAGEテンソルを実体化する代わりに、既知の高RAMパスはもはや公開されません。
  • 正確なAVタイミング。 最終音声ステッチングは絶対タイムラインのサンプル境界を使用し、44.1 kHzなどのレートでの1サンプルのシームドリフトを回避します。小さなH3音声グリッドのアンダーシュートは、無音テールでパディングする代わりにタイムコンフォームされます。
  • コントローラー管理のバイパス。 生成グループとプレビューグループに実際のComfyUIバイパスモードを使用します。これにより、現在のワークフローのどちらもグループ制御にrgthreeを必要としません。
  • 前方互換性。 ComfyUI PR #15375前後のH3マスク統合レイアウトの両方を認識し、現在のレイアウトが存在する場合はローカルフォールバックを自動的に無効化します。

Music Video

20スロットのMusic Videoワークフローは、1つの楽曲を中心にマルチクリップ動画を構築します。スタータークリップはMiniMaxH3ReferenceToVideoで生成され、各クリップは動画の潜在テールを次のクリップへ直接渡します。マスターソングが常に基準となります。すべてのクリップは、H3音声潜在内でオーディオマスク0のマスターソングの正確な絶対タイムラインスライスを受け取り、最終出力はオリジナルのマスター波形をそのまま使用します。

AV Extension

AV Extensionワークフローは、複数のH3生成にわたって動画を継続します。1つのコントローラーが、既存動画、T2V、I2V/Custom-Keyframesスタート用の共有ライブチェーンを駆動し、2つの画像参照スロットと2つのオプション音声参照がスターターとすべての拡張機能に供給されます。保護されたコンテキストは共有H3動画/音声境界(39 / 90 / 141 / 192…)にスナップし、音声はハード保護領域に加えて設定可能なハーフコサインフェザー(デフォルトで8音声潜在ティック、0.2秒)を保持します。結果は完全な最終ムービーテンソルを割り当てることなく、VideoHelperSuiteへストリーミングされます。

サンプル参照画像

ミュージックビデオデモには、example_workflows/assets/に2つの参照画像と1つの楽曲が同梱されています。

参照画像1参照画像2
参照画像1参照画像2

入手方法

ComfyUI/custom_nodes/にクローンしてインストールし、再起動します:

cd ComfyUI/custom_nodes
git clone https://github.com/seitanism/ComfyUI-H3-Motion-Context-MultiRef.git

同梱の一部のワークフローはVideoHelperSuite、KJNodes、rgthreeを必要とします。不足しているノードパックをインストールして再起動してください。サンプルのミュージックビデオアセット(2枚の画像と1つの楽曲)は、実行前にComfyUIのinput/フォルダーに配置します。アップデート5のチェックポイントノードは登録されなくなったため、それらを使用して保存されたワークフローは現在の直接潜在バージョンに移行する必要があります。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
ComfyUI H3 Motion Context MultiRef アップデート6:ミュージックビデオとAVワークフロー | ComfyUI Wiki