Open-H3-Regenerate-2K: MiniMax H3向けのオープンな4Kリファインメント

Open-H3-Regenerate-2Kは、NVlabs SanaチームによるMiniMaxのH3-Regenerate-2Kステージのオープンな代替実装です。H3パイプラインの後半にあたり、完成した768Pのドラフトをより高い解像度で描き直します。ホスト版のこのステージは重みを公開していないため、チームは凍結したH3 transformerと動画VAE上に単一のリファイナーLoRAとして再構築し、重みをHugging Faceで、コードおよびプロジェクトページとともに公開しました。

このリファイナーは384P、512P、576P、768Pのドラフトを入力とし、5〜15秒のクリップをネイティブの768P、1080P、2K（2560x1440）、4K（3840x2160）で出力します。フルサンプリングではなく、3回のデノイズステップで処理します。デフォルトでは、公開されているデコーダではなくStreamRender-H3の24レイヤーの高速H3 VAEを通してデコードします。

プロジェクト自身の比較セットから、同じフレームと同じウィンドウを取り出したもの。公式H3-Regenerate-2K APIによるクロップとオープンなリファイナーのクロップを対にしています。出典: プロジェクトページ

リファイナーが置き換えるもの

H3は2段階で生成します。ベースモデルが低解像度でコンテンツと動きを確定し、その後、再生成ステージが顔、布地、毛皮、葉をフルサイズで描き直します。8月に重みとして公開されたのは第1段階のみで、第2段階は、未加工のH3 768P出力を受け取って2Kを返すホスト型APIとしてのみ存在していました。

Open-H3-Regenerate-2Kは同じ分割を保ったまま、第2段階をオープンにしました。入力はH3ベースモデルに限定されません。プロジェクトではLTX-2やSANA-Videoが1024x576で生成したドラフトも例示しており、リファイナーはそのレイアウト、色、動きをより大きなグリッドへ引き継ぎます。

3ステップで処理する仕組み

ドラフトは一度だけエンコードされ、その後、3D畳み込みの潜在アップスケーラーが潜在を直接ターゲットのグリッドまで拡大します。途中でデコードと再エンコードは行いません。拡大された潜在はシグマ0.909まで再ノイズ化され、classifier-free guidanceをオフにして3回のEulerステップ（0.909、0.857、0.667から0へ）でデノイズされます。そのため各ステップはフル解像度でのtransformer呼び出し1回で済みます。

少ステップ動作は3つのアダプターが担っており、公開版ではランク軸に沿ってファクターを連結することで1つのファイルにマージしています。

• Open-H3リファイナー本体、ステップ5000のEMA、ランク384
• LightX2V FL2VA Turbo v1.2、ランク128
• LMS Sharp v1.0、ランク64

マージされたLoRAは312個のリニアレイヤーにまたがるランク576で、Sharpのタイムステップカーブ分岐とともにFP32で保存されています。この分岐はレイヤー入力ではなく8次元のカーブを読み込むため、別モジュールとして保持されています。プロジェクトのマージ検証では、マージ後のデルタが3つの個別アダプターと相対誤差2.2e-8で一致すると報告されています。

速度とベンチマーク

チームは単一のB200上で、768Pの潜在から2560x1440へ、ウォームアップ済みの状態で5秒のクリップ1本を3回計測し、中央値を求めました。SoL-Engineのフォワードと高速VAEデコーダを使った場合、潜在アップスケール、3回のリファインステップ、VAEデコードを合わせて22.45秒でした。一方、スタンダードなdiffusersフォワードと公開デコーダでは87.26秒かかっています。高速化の大半はデコードと再エンコードの省略によるもので、高速デコーダは2Kクリップを約15秒ではなく1.58秒で処理します。

RefinerBench-150において、両システムを2560x1440で実行したところ、UniPerceptの3軸すべてと、VBenchの美的品質、画質、被写体一貫性で公式APIを上回るスコアを報告しています。200件の判定によるブラインド調査では、オープンなリファイナーが87%で好まれました。

同じ比較セットからの2組目のクロップ。出典: プロジェクトページ

入手方法

このリファイナー向けの公式ComfyUIノードはありません。参照実装はSanaリポジトリ内のPython CLI（Linux、Python 3.11、CUDA 13.0のPyTorch 2.11）で、download.pyヘルパーが重み、マージ済みLoRA、潜在アップサンプラー、高速VAEデコーダを取得します。

ComfyUIユーザーによる移植も進んでいます。Kijaiは他のdistillと組み合わせられるよう、リファイナー単体をランク384のLoRAとして公開しており、適応済みLoRA全体のコミュニティ変換版もHugging Faceにあります（father558、DrakenZA）。変換を手がけた人々は、DiffusersのレイアウトにはSwiGLU変換が必要なため、ストレートな変換では誤った重みが再現されると注意しています。その工程を省いた変換は壊れて見えます。

リポジトリにはリファイナーLoRA、高速VAEデコーダ（1.62Bパラメータ）、H3 Diffusersコンポーネントの未改変コピーが含まれており、768Pから2Kへの経路全体をMiniMax APIなしで実行できます。