NitroFusion2: Z-Image-Turboを1ステップ化するComfyUIワークフロー
NitroFusion2はZ-Image-Turboを1ステップと2ステップに蒸留し、ネイティブのComfyUIワークフローと2.0 GBからのGGUFファイル、さらに1ステップあたり約1.7倍高速なint8ファイルを提供します。
同じプロンプトとシード: Z-Image-TurboとNitroFusion2の1ステップ・2ステップの比較。モデルカードより。
変更点
ベースモデルはすでに8ステップで動作します。NitroFusion2は、敵対的損失をMMDiTのテキストストリームに移すことで、これを1ステップまで押し上げます。ネットワークの中盤までにテキストトークンは画像を読み取り、生成された内容の要約を保持しているため、そこで訓練された識別器は、プロンプト自身から見た画像を目にすることになります。実用上の効果として、文字組みや細部が、通常のステップ数蒸留よりも1ステップでよく保たれます。
実行方法
ComfyUIの標準フォルダに3つのファイルを置き、ワークフローを読み込みます:
nf2-bf16.safetensors(12.31 GB) をmodels/diffusion_models/にqwen_3_4b.safetensorsをmodels/text_encoders/に置き、lumina2としてロードae.safetensorsをmodels/vae/に
1ステップは euler / simple、CFG 1、shift 3 で実行します。2ステップでは shift 6 に切り替え、逆蒸留LoRAを最初のステップのみ0.5で適用し、2ステップ目は0.0にします。公式の2ステップワークフローは、これを2回のサンプラーパスで実現しています。
公開されているGGUFの各ティアを、1つのプロンプトとシードで高精度から低精度まで比較。モデルカードより。
より小さいファイル
リポジトリには nf2-Q2_K_4XS (2.0 GB) から nf2-Q8_0 (7.2 GB) までのGGUFが置かれており、それぞれに専用の1ステップ用・2ステップ用ワークフローがモデルページに用意されています。サードパーティのComfyUIセットは、同じ nf2-bf16 ファイルのComfyUIネイティブ量子化を追加しており、4090上で1024²で計測されています(PedroMarinhoDev/NitroFusion2-ComfyUI):
| ファイル | サイズ | 1ステップ, 4090 | bf16に対する予測誤差 |
|---|---|---|---|
| bf16 | 12.31 GB | 0.50 s | 0 |
| int8 ConvRot | 6.18 GB | 0.29 s | 13.4% |
| W6A8 | 5.02 GB | 0.30 s | 17.5% |
| W4A8 | 3.49 GB | 0.29 s | 33.6% |
この誤差は12プロンプト×4ノイズサンプルにおけるbf16の予測を基準としたもので、作者によればそのほとんどは構図・顔・テキストではなく細かなテクスチャに現れるとのことです。これは3つのファイル間の順位付けとして読み取るべきもので、絶対的な品質スコアではありません。
コメント
GitHubでサインインしてディスカッションに参加しましょう。