ComfyUI コアに H3 潜在アップスケーリングと Sol-H3-VAE サポートが追加

ComfyUI Wikinews

マージされた2つの ComfyUI コア PR が MiniMax H3 潜在アップスケーラーと蒸留版 Sol-H3-VAE デコーダーを読み込み、2K H3 のデコードを 14.5 秒から 0.89 秒に短縮します。

2026年10月28日、ComfyUI は MiniMax H3 の高解像度パスをカスタムノードからコアへ移行する2つのコアプルリクエストをマージしました。PR 17412 は専用の H3 ノードを備えた潜在アップスケーラーモデルのサポートを追加し、PR 17411 は VAE ローダーが NVIDIA の Efficient-Large-Model チームによる蒸留版高速デコーダー Sol-H3-VAE を開けるようにします。どちらも作者は Kijai で、いずれも v0.43.1 タグの後にマージされたため、master とナイトリービルドに含まれ、現在の 0.43.x リリースには含まれません。

この組み合わせは 2K H3 ジョブの高コストな2つの部分、すなわち VAE のラウンドトリップなしで潜在を拡大することと、完成したクリップをデコードすることを対象としています。

モデルカードの潜在アップスケーラー比較

低解像度パスを H3 潜在アップスケーラーで潜在空間内にアップスケールしたもの。モデルカード より。

同じリポジトリの比較動画。

コアに取り込まれた内容

PRマージ日時変更内容
174122026-10-28 20:05 UTC新しい comfy/ldm/minimax/latent_upscaler.py モジュール、Load Latent Upscale Model の H3 分岐、新ノード MiniMax H3 Latent Upscale With Model
174112026-10-28 23:46 UTCVAE ローダーでの Sol-H3-VAE 検出とキーの再マッピング、非因果デコーダーパス、int8 量子化デコーダーのサポート、デコーダーのメモリ推定

どちらの PR もチェックポイントを同梱していません。既存のコミュニティ製の重みを標準のローダーで読み込めるようにするもので、以前はノードパックが必要だった H3 アップスケーラーがコアノードだけで動作するようになります。

潜在空間内でのアップスケーリング

H3 の潜在は24チャンネルと別個の音声ストリームを持ちます。LBH-123-AI の潜在アップスケーラー は 3D 畳み込みバックボーンで動画の潜在を直接処理します。345,280,216 パラメータ、入出力24チャンネル、ベース512チャンネル、入力12ブロック・出力12ブロックで、2ブロックごとにカーネルサイズ5の時間方向畳み込みを持ちます。

狙いは H3 の VAE を介した decode -> pixel upscale -> encode を省略することです。モデルカードではこの VAE は約 5B パラメータと説明されています。作者はまた、H3 潜在を単純なバイリニアやバイキュービックで補間するとゴースティングが発生し、学習済みアップスケーラーはそれを避けるようトレーニングされていると報告しています。トレーニングには約 80,000 組のペアサンプルを使用し、約 70,000 の動画ペアと 8,000 の 2K 画像ペアに分かれ、2倍が中心のスケールとなっています。

コアは state dict からアーキテクチャを読み取るため、ブロック数、チャンネル幅、時間方向カーネルは別途の設定ファイルではなく重み自体から取得されます。ノードの出力は H3 のネストされた潜在を保持するため、音声側はそのまま通過し、生成されたサウンドトラックはアップスケール後も維持されます。入力潜在のノイズマスクは破棄されます。

併用するノードパックとの違いとして、次の2点を知っておく価値があります。

  • コアノードは倍率ではなくターゲットサイズを取ります。 MiniMax H3 Latent Upscale With Model は 2560x1440 がデフォルトで、ステップは 32、通常の解像度上限も適用されます。コミュニティノードは代わりに 1.0x から 4.0x の連続的な倍率を公開しています。
  • アップスケールだけではディテールは追加されません。 潜在のサイズを変更するだけなので、新しい解像度での2回目のサンプリングパスがディテールを戻します。そこでステップ数を少なくすると結果はぼやけたものになります。

要求されたサイズが潜在のサイズと一致する場合、コアノードはモデルを実行せずに入力をそのまま返します。

ドロップインで使えるデコーダーとしての Sol-H3-VAE

Sol-H3-VAE は H3 向けの高速動画デコーダーで、標準の 36 層 VAE デコーダーを、そこから蒸留した 24 層・1.62B パラメータの非因果デコーダーに置き換えます。空間タイルではなくウィンドウ付きアテンションでフレーム全体をデコードし、各ネイティブの5潜在ブロックを双方向にデコードします。モデルカード によると、同じ正規化済み潜在を受け取り、H3 VAE デコーダーと同じフレームを返し、音声デコーダーには手を加えません。

5秒のクリップ1本H3 VAESol-H3-VAE
768p、RTX 509012.5 s5.0 s
720p、GB2006.16 s0.34 s
2K、GB20014.5 s0.89 s

モデルカードは、720p から 2K にわたるホールドアウト潜在で H3 デコーダーに対して 45.4 dB PSNR、生成された 768p クリップで 38.2 dB を報告しています。GB200 の数値はキャプチャされた CUDA グラフによるもので、RTX 5090 の数値は eager モードです。

そのチェックポイントをコアで開くには、新しいファイル名パターンだけでは足りませんでした。

  • 公開ファイルはデコーダーを decoder. プレフィックスなしで格納しているため、ローダーはその場でキーを再マッピングし、H3 の潜在の平均と標準偏差が存在しない場合には補完します。
  • 非因果デコーダーはフレームの計算を変えます。出力は 潜在あたり4フレームで、5潜在ブロックごとに最初の潜在が1フレームを保持します。t 個の潜在に対して 4t - 3 * ceil(t/5) フレームとなり、エンコードには対応する逆の式を使います。
  • クリップ全体をタイルではなく一度にデコードするため、この PR は別個のメモリ推定を追加し、ローダーがデコード開始前に VRAM を計画できるようにします。
  • 量子化された Sol VAE ビルドも読み込めます。ローダーは conv-rotation 重みを持つ int8 を検出し、混合精度の演算に切り替えます。

公開ファイルは fp32 で約 6.5 GB の単一の sol_h3_vae.safetensors です。

グラフへの組み込み

  1. アップスケーラーのチェックポイントを ComfyUI/models/latent_upscale_models/ に置きます。H3 のリリースには bf16 と fp16 が各約 691 MB、加えて 1.38 GB の fp32 .pth が含まれます。
  2. sol_h3_vae.safetensors を ComfyUI/models/vae/ に置き、通常の VAE ローダーで読み込みます。
  3. Load Latent Upscale Model を MiniMax H3 Latent Upscale With Model にチェーンし、低解像度のサンプリングパスと 2560x1440 以上の2回目のサンプラーパスの間に配置します。
  4. 精製された潜在を Sol VAE でデコードします。

アップスケーラーの重みは Apache-2.0 です。ComfyUI のテンプレートライブラリには依然としてホスト版 H3 API テンプレートしかないため、この組み合わせ向けの公式な 2K ローカルテンプレートはまだありません。また上記の時間は ComfyUI のベンチマークではなくモデルカード自身の計測値です。

入手方法

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
ComfyUI コアに H3 潜在アップスケーリングと Sol-H3-VAE サポートが追加 | ComfyUI Wiki