Nvidia PiD v1.5: FLUX.2 および Qwen-Image 向け Pixel Diffusion Decoder

news

Nvidia Research が PiD v1.5 をリリース。FLUX、FLUX.2、Qwen-Image 向けの復号品質が向上しました。色再現性の改善、アーティファクトの削減、詳細の強化を実現しています。

PiD v1.5(Pixel Diffusion Decoder)は Nvidia Research による更新版であり、FLUXFLUX.2Qwen-Image 向けのチェックポイントを提供します。色再現性の改善、グリッドアーティファクトの除去、アニメ・顔の詳細の強化が行われています。また、最大4K復号に対応した新しい推奨チェックポイント 2kto4k_v1pt5 も導入されました。
PiD teaser - VAE vs PiD デコード比較

PiDとは

PiD(Pixel Diffusion Decoder)は、潜在表現からピクセルへのデコーダを 条件付きピクセル空間拡散モデル として再構成し、復号とアップサンプリングを単一の生成モジュールに統合します。標準的な VAE デコーダがエンコーダの単なる反転を行うのに対し、PiD は高解像度ピクセル空間で直接ノイズ除去を行い、一度の処理で超解像画像を生成します。

潜在拡散モデル(FLUX、SD3、SDXL)で使用される標準 VAE デコーダは再構成型であり、エンコーダを反転することに最適化されており、追加の詳細を合成することは目的としていません。PiD はこれを生成アプローチに置き換え、生成された潜在表現との整合性を保ちながら、よりシャープで詳細な高解像度出力を可能にします。

v1.5 の新機能

PiD v1.5 は、3つの主要な潜在空間に対して以下の改善をもたらします。

  • 復号時の色再現性の向上 - 生成済み潜在表現からの色再現がより正確に
  • 画像隅のグリッドアーティファクトの除去 - 特に高解像度でクリーンな出力
  • アニメと顔の詳細の向上 - 微細な構造要素の処理が改善

新しい 2kto4k_v1pt5 チェックポイントは、FLUX、FLUX.2、Qwen-Image 向けの推奨される最大4Kデコーダです。これらのモデル向けの以前の 2kto4k チェックポイントは非推奨となり、checkpoints_deprecated/ に移動されました。

利用可能なチェックポイント

すべての PiD チェックポイントは 4ステップ蒸留 されています。

バックボーン2k解像度2k→4k解像度
FLUXPiD_res2k_sr4x_flux_distill_4stepPiD_v1pt5_res2kto4k_sr4x_flux_distill_4step
FLUX.2PiD_res2k_sr4x_flux2_distill_4stepPiD_v1pt5_res2kto4k_sr4x_flux2_distill_4step
Qwen-ImagePiD_v1pt5_res2kto4k_sr4x_qwenimage_distill_4step

v1.5 の 2kto4k チェックポイントは、Z-Image、Z-Image-Turbo、FLUX.2-Klein (4B/9B) の各バリアントもサポートしています。

標準 VAE デコードPiD v1.5 デコード
標準 VAE (512×512)PiD v1.5 (2048×2048)

比較: FLUX.2 潜在表現を標準 VAE デコーダと PiD v1.5 でデコード — PiD では色再現性、アーティファクト削減、詳細強化が顕著に向上。

仕組み

PiD は潜在デコーダをピクセル空間での拡散プロセスとして再構成します。

  1. 潜在表現はまず軽量エンコーダを介して低解像度のピクセル画像に投影されます。
  2. 条件付き拡散モデルが、潜在特徴に導かれながらこの低解像度画像のノイズを除去します。
  3. 結果として、復号とアップサンプリングを一度に行い、高解像度で詳細豊かな画像が得られます。

このアプローチにより、PiD は標準的な潜在表現から最大 4K解像度 の画像を、別途アップスケーリングのステップを必要とせずに生成できます。

即戦力ワークフロー

ComfyUI ワークフローライブラリから、PiD を実際に体験できる2つの公式テンプレートを提供しています。

PiD Latent Upscale — PiD を FLUX、FLUX.2、PixelDiT の潜在アップスケール/デコーダ代替として適用。

PixelDiT Text-to-Image — PixelDiT をバックボーン、PiD をデコードに使用したエンドツーエンドの Text-to-Image パイプライン。

ComfyUI との関連性

PiD はカスタムノード(ComfyUI-PiD)を介して ComfyUI で利用可能であり、公式のテンプレートワークフローにも統合されています。PiD Latent Upscale ワークフローでは PiD を FLUX、FLUX.2、PixelDiT のドロップイン VAE デコーダ代替として使用でき、PixelDiT Text-to-Image ワークフローでは PiD デコードによるエンドツーエンド生成を確認できます。

本モデルは NSCLv1 ライセンス(非商用の研究または評価のみ)の下で公開されています。

Nvidia PiD on HF Paper on arXiv Project Page

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Nvidia PiD v1.5: FLUX.2 および Qwen-Image 向け Pixel Diffusion Decoder | ComfyUI Wiki