SelfLiftがComfyUIにプログレッシブ解像度サンプリングを導入
comfyui-SelfLiftは低解像度で初期のデノイズを実行し、フル解像度で完了します。Z-Image、FLUX.2-Klein、MiniMax H3向けのTST補正付きトレーニング不要な高速化です。
SelfLiftがスケジュールを分割する仕組み
Z-Image-TurboやFLUX.2-Kleinのような少ステップモデルは時間軸を圧縮するため、残りの各フォワードパスの空間コストが支配的な項になります。プログレッシブ解像度サンプリングは、まず低解像度でデノイズすることでそのコストを削減します。SelfLift論文（arXiv:2609.02036）が指摘する問題は、単に潜在を持ち上げて残りの少ないステップに不一致を吸収させると、目に見えるアーティファクトが残ることです。
SelfLiftは代わりに、モデル自体から修復信号を導出します。リフト後、高リスク位置の一部がピクセルVAEアンカーに向けて補正され、低解像度プレフィックスが同じ軌跡の有効な部分であり続けるように遷移が設計されています。論文で報告されている開始点は、Z-Image-Turboでは8ステップ中6ステップを低解像度、FLUX.2-Kleinでは4ステップ中3ステップです。
プロジェクトページのSelfLiftティザー図。
1つのパッケージに3つのノード
| ノード | クラス | 機能 |
|---|---|---|
| SelfLift Progressive Sampler (Image) | SelfLiftImageSampler | モデル自身のVAEを使用した、rectified-flow画像モデル向けのプログレッシブ解像度サンプリング |
| SelfLift Progressive Sampler (MiniMax H3) | SelfLiftH3Sampler | H3向けの同じアイデアの実験的な音声・動画適応 |
| H3 Temporal State Transport (TST) | SelfLiftH3TST | H3動画の時間的不均衡を補正するMODELからMODELへのパッチ |
これらのサンプラーは標準のComfyUIサンプラー接続に組み込まれます。SamplerCustomと同様にsamplerとsigmas入力を受け取るため、eulerに設定したKSamplerSelectとモデル自身のスケジューラーを接続します。他のサンプラーは意図的に拒否されます。
主な調整項目は、transition_step（低解像度のまま維持するステップ数）、lowres_scale（デフォルト0.5）、rho（VAEアンカーへ引き寄せる高リスク位置の割合、0で無効）、補正強度のw_min / w_max、リフト補間（nearestまたはbilinear）、そしてオプションのmodel_hiresです。これにより高解像度ステージで別のcheckpointやLoRAスタックを実行できます。この遷移は追加のデノイザー評価を増やしません。NステップのスケジュールはちょうどNのままで、rhoが0でない限り、VAEデコード、アップスケール、再エンコードの往復が1回追加されます。
SelfLiftの概要: 低解像度プレフィックス、潜在リフト、アンカー付き高解像度ステージ。
MiniMax H3のパス
H3サンプラーは作者によって明示的に実験的とされており、論文では検証されていません。2つのリフト経路を提供します。
- 外部アップスケーラー（デフォルト）: インストール済みのH3潜在アップスケーラーで
rhoを0にした、学習済みの潜在のみのリフト。READMEがクレジットしているH3 latent upscalerの重みと互換性があり、ノードはmodels/latent_upscale_models/からh3ファイルを読み取ります。 - SelfLift-zero:
upscaler_modelをnoneに設定し、rhoを0より大きくします。作者がテストしたH3の開始点はrho 0.6、w_minとw_maxは1です。これは、論文の画像設定ではH3の直接リフト経路にアーティファクトが残ることが単一シードの実行で判明したためです。
実験的なhighres_tilingオプションは、高解像度フェーズを1〜8の空間タイルに分割します。最初のタイルの音声のみを保持し、タイル間アテンションはなく、ControlNetもサポートしません。そのため、品質調整ではなくメモリとのトレードオフです。
Temporal State Transport
TSTはここに移植された2つ目の論文です（arXiv:2609.08505）。フレームレベルのアテンション演算子の符号付きスペクトルテンションを測定し、不均衡なヘッドのみを補正します。混ざりすぎたヘッドをシャープにし、断片化したヘッドをソフトにし、より深いレイヤーと以前のステップでより強い補正を行います。SelfLiftサンプラーだけでなく、任意の標準サンプラーで動作し、作者によると実行時オーバーヘッドはおよそ1〜2パーセントです。
実際には、H3出力でユーザーが最も気づく失敗を対象とします。スクリーン上のテキストやロゴなどのちらつきやモーフィング、人物や衣装の同一性ドリフト、物理的に不自然な動きです。tauが強度の調整項目で、0.2が推奨値です。0.5は明らかに強すぎます。モデルが持たない詳細を生成することはできず、H3モデルのみに適用され、highres_tilingがオンのときはスキップされます。ロギングオプションは、モデルのフォワードごとに1行の診断情報を出力します。これには補正されたヘッドの割合が含まれ、作者の測定では89〜100パーセントのヘッドで正確なアテンション演算子と一致しました。
入手方法
facok/comfyui-SelfLiftをComfyUI/custom_nodesにクローンして再起動します。すべてのノードはselfliftカテゴリに表示されます。このパッケージには英語と中国語のドキュメントがあり、H3リフト経路を調整するための診断プリセット表も含まれています。
コメント
GitHubでサインインしてディスカッションに参加しましょう。