ComfyUI H3 Motion Context Auto-Chain: 1回の実行で長いリップシンク動画を生成
ComfyUI-H3-Motion-Contextのアドオンで、MiniMax H3のリップシンククリップを自動連結: 音声を分割し、潜在コンテキストでモーションと音声を引き継ぎ、最後に1つのMP4に結合します。
作者が投稿した自動連結リップシンクデモのサンプルフレーム。
解決する問題
MiniMax H3の生成は約20秒のクリップに制限されているため、それより長いリップシンク動画は通常、ComfyUIの実行を手動で連結する必要があります: 20秒ごとに新しい生成を開始し、VRAMに合わせてサイズを調整し、後から手動で結合します。Auto-Chainアドオンはこのループを自動化します。完全な音声をクリップサイズのチャンクに分割し、ギャップのない最終結合のために元のタイムラインを保持し、次のクリップを自動的にキューに追加し、H3の潜在コンテキストを通じてビデオとオーディオの連続性を引き継ぐため、各クリップが前のクリップから続きます。
著者のデモ (YouTubeのTBG ETUR) は、クリップごとのプロンプトによるカメラ移動を含む、連結クリップから構築された長いリップシンク動画を示しています:
含まれるノード
| ノード | 機能 |
|---|---|
| H3 Auto Chain Audio | 音声をクリップサイズのチャンクに分割し、現在のクリップの音声、プロンプト、クリップ番号、チェーン設定を出力 |
| H3 Auto Chain Load Latent | Motion Contextノード用に前のクリップのH3ビデオ/オーディオ潜在表現を読み込む |
| H3 Auto Chain Save Latent | 現在のサンプラー出力を連続用の番号付きスロットに保存 |
| H3 Auto Chain Frame Reference | 参照画像を提供: 毎クリップ初期画像、前クリップの最終フレーム (last_frame、推奨)、またはクリップ1のみ |
| H3 Auto Chain Motion Context | 継続クリップでは元のMotion Contextノードに委任し、最初のクリップはパススルー |
| H3 Auto Chain + Stitch | 現在のクリップを保存し、最終フレームを抽出し、次のクリップをキューに入れ、チェーン完了時にすべてのクリップを1つのMP4に結合 |
クリップごとのプロンプトは、共有の style_prompt と番号付きの clip_prompts ([1] The character walks through a rainy city street.、[2] The character enters a warm cafe.、...) で機能し、各クリップセグメントは独自の出力ファイルを持つため、同じ chain_id でチェーンを再開したり、単一のクリップを再レンダリングしたりできます。
サンプルワークフロー
リポジトリには、アドオンノードを元のH3 Motion Contextパッケージに接続する完全なリップシンクワークフローが同梱されています:
推奨される初期設定: 20秒チャンク、24fps、22コンテキストフレーム、last_frame 参照モード。
インストール
このアドオンには元の ComfyUI-H3-Motion-Context パッケージと動作するMiniMax H3ビデオワークフローが必要です。両方のフォルダを ComfyUI/custom_nodes/ にインストールしてComfyUIを再起動します:
ComfyUI/custom_nodes/ComfyUI-H3-Motion-Context-orig/
ComfyUI/custom_nodes/ComfyUI-H3-Motion-Context-Auto-Chain-addon/実験的な改変版H3フォークは、元のパッケージおよびこのアドオンと並行してインストールしないでください。重複したノードIDを登録するためです。
入手方法
- コード: Ltamann/ComfyUI-H3-Motion-Context-Auto-Chain-addon (GitHub)
- ワークフロー:
example_workflows/のMiniMax H3 Lipsync.json - デモ: TBG ETUR (YouTube)
コメント
GitHubでサインインしてディスカッションに参加しましょう。