MiniMax H3画像VAE: 単一潜在からの直接画像デコード

Mamad8は、8月9日にRedditで共有された実験的な画像特化型MiniMax H3 VAEをHugging Faceで公開しました。

このチェックポイントは、単一の時間潜在(T=1)を直接1枚の画像にデコードし、H3の24チャンネル潜在フォーマットに対応した実用的な単一潜在からの直接画像パスを提供します。スタンダードなマージ済みH3 VAEチェックポイントとして配布されているため、カスタムノードや専用のデコーダーヘッドは不要です。

できることとできないこと

モデルカードには、トレードオフについて明確に記載されています:

• 画像のみ。 画像特化型デコーダーはマルチフレームのビデオ再構成を大幅に劣化させ、パッチグリッドのゴーストやフレーム間の混合を引き起こす可能性があります。そのため、ビデオワークフローでオリジナルのH3 VAEを置き換えてはなりません。
• 品質には限界があります。 出力はソフトなままとなり、細かいテキスト、細い輪郭、髪の毛、葉、マイクロテクスチャが失われる可能性があります。上のサンプル画像は品質保証を示唆するものではなく、実際の結果を示しています。これは実用性のためのパスであり、忠実度を主張するものではありません。

その目的は、H3に実用的な単一画像ラウンドトリップを提供することです。これは、H3潜在を画像として検査または編集したいワークフローにとって重要です。

トレーニング方法

オリジナルのH3エンコーダーは凍結したまま、デコーダー全体とpost_quant_convをファインチューニングし、単一のH3時間潜在から実際のソース画像を直接再構築できるようにしました。

トレーニングでは、51,083枚のユニークな画像(41,259枚のBooru Essence画像と9,824枚の疑似カメラ写真)に対して256→384pxの段階的カリキュラムを適用し、デコーダーを考慮した、Charbonnier再構成損失、エッジ損失、SSIM損失、低ウェイトのFDL/FDL-PIPS損失を組み合わせた目的関数を使用しました。選択済みのstep-1597デコーダーはスタンダードなH3 VAEチェックポイントにマージされており、通常のH3 VAEツールで読み込むことができます。

バランスの取れた未見の512pxセット(写真32枚+アート画像32枚)では、チェックポイントは30.44 dB PSNR、0.939 SSIM、0.0168 MAEを記録しました。約1〜3メガピクセルでのデプロイチェックでは、31.55〜33.43 dB PSNRに達しています。

ComfyUIでの使用方法

1. minimax_h3_t1_image_vae_step1597.safetensors(約5.2 GB)をComfyUI/models/vae/にダウンロードします
2. スタンダードなVAEを読み込むノードで読み込み、通常のVAEエンコード/デコードノードを使用します
3. このモデルはMiniMax H3の24チャンネル潜在フォーマットを前提としており、単一画像(T=1)のラウンドトリップを想定しています

入手方法

チェックポイントはHugging Faceで入手できます。Mamad8が以前公開したH3潜在空間ワークフロー向けの2×潜在アップスケーラーと組み合わせて使用できます。