MiniMax H3 2x潜在アップスケーラーとComfyUIノード
Mamad8がMiniMax H3向けの2xクリーン潜在アップスケーラーを2つのComfyUIノードとともに公開。潜在空間に留まったままVAEデコード前に空間解像度を2倍にします。
Mamad8 は8月8日、MiniMax H3 向けの2×潜在アップスケーラーを、最小限のComfyUIノード2つとともに公開しました(モデルカード、カスタムノード)。このモデルは、完全にデノイズされたH3ビデオ潜在の空間サイズを2倍にします。そのため、ワークフローはVAEデコード → ピクセルリサイズ → VAE再エンコードのラウンドトリップを踏まずに、潜在空間に留まることができます。
これは何か
これは従来の画像アップスケーラーやビデオアップスケーラーではありません。完成したレンダリングをシャープにするものではなく、その出力を直接デコードするとオリジナルよりもソフトに見えることがあります。その目的は、クリーンなH3ビデオ潜在を2×大きな空間潜在グリッド上へ素早く移動させ、高解像度での継続生成や2回目のサンプリングパスを、より大きなキャンバス上で実行できるようにすることです。
- 潜在の空間サイズのみを2倍にします。時間的な長さは変わりません。
- コンパニオンノード経由で使用すると、H3のビデオ/オーディオ統合潜在内のオーディオストリームはそのまま保持されます。
- クリーンな潜在のみを受け付けます。ノイズを含む中間潜在への適用はサポートされていません。
トレーニング方法
トレーニングペアはクリーンなH3潜在から構築されました。各低解像度潜在はH3 VAEでデコードされ、Lanczosを使用してピクセル空間上で2×に拡大され、その後、決定的に再エンコードされて教師潜在が生成されました。軽量ネットワークは、潜在空間とデコーダを考慮した再構成、SSIM、空間一貫性、時間一貫性の各損失を使用して、バイリニア潜在補間の結果に加える補正を学習しました。H3ジェネレーター自体はトレーニングも変更もされていません。
ComfyUIでの使用方法
ComfyUI-H3-Latent-Upscaler-Mamad8をComfyUI/custom_nodes/にクローンし、ComfyUIを再起動します。追加のPythonパッケージは不要です。h3_clean_latent_upscaler_v1_mamad8.safetensors(約56 MB)をComfyUI/models/h3_latent_upscalers/にダウンロードします。
ノードパッケージには、Load H3 Latent Upscaler と Upscale Clean H3 Latent 2x の2つのノードが用意されています。サンプリング完了後、通常のVAEデコードの前に適用ノードを配置します。
H3 sampler → Upscale Clean H3 Latent 2x → VAE Decodeたとえば、672×384 用に生成されたクリーンな潜在は、2×潜在アップスケーリング後に 1344×768 でデコードされます。フレーム数とオーディオは変わりません。アップスケール後にH3のデノイズを継続するには、明示的な再ノイズ処理と高解像度での継続生成ワークフローが必要です。この部分は意図的に2つのノードの対象外とされています。
リポジトリには、依存関係の追加が不要なコアComfyUIビデオノードとVAEノードを使用するデフォルトワークフローが同梱されています。
コミュニティノート
Banodocoコミュニティのメンバーは公開当日からテストを開始しました。RuneXは、低解像度でのフル25ステップの1回目のパス、2×潜在アップスケール、その後の8ステップの2回目のパスという2パス構成を実行し、オーディオが著しく豊かになったと報告しました(テストノート)。mamad8は、このリリースはMiniMax自身がH3向けに出荷を予定している公式アップスケーラーを部分的に先取りするものだと述べています。
サンプラー間でのアップスケーリング(1つのワークフロー内での再ノイズ処理+2回目のパス)については、Tr1daeの ComfyUI-MiniMaxH3_LatentUpscaler が異なるアプローチを取っており、パス1のオーディオをどの程度再ミックスするかを制御する audio_denoise コントロールを備えています。
コメント
GitHubでサインインしてディスカッションに参加しましょう。