KJNodes/experimentalgenerated

Patch Sage Attention KJ(PathchSageAttentionKJ)

このノードは、入力モデルをクローンし、そのモデルオプションに最適化されたアテンションオーバーライド関数を設定することで機能を実現します。

Pathch Sage Attention KJ

model
MODEL
sage_attention
0
allow_compile
KJNodes

Patch Sage Attention KJ ノードは、入力モデルをクローンし、そのモデルオプションに最適化されたアテンションオーバーライド関数を設定することで機能を実現します。

Patch Sage Attention KJ ノードは、拡散モデル内のアテンション計算メカニズムを動的に変更するための実験的なツールです。その中核機能は、画像生成時にモデルの標準アテンションモジュールを Sage Attention モードにグローバルに置き換えることを可能にし、異なる生成効果や潜在的なパフォーマンス最適化を探求できるようにすることです。

ノード機能

このノードは、入力モデルをクローンし、そのモデルオプションに最適化されたアテンションオーバーライド関数を設定することで機能を実現します。ComfyUI の標準的なモデルパッチシステムに依存せず、モデルの transformer_options を直接操作します。ノードは Sage Attention ライブラリから特定のアテンションモードを選択することをサポートし、計算の高速化を試みるために PyTorch の torch.compile 機能を有効にするオプションもあります(ただし、これには Sage Attention 2.2.0 以降が必要です)。

ノードパラメータ説明 - Patch Sage Attention KJ

入力接続 (Inputs)

パラメータ名データ型必須デフォルト値範囲/オプション説明
modelMODELはい--アテンションメカニズム置換の基盤となる、変更対象の拡散モデルを受け入れます。

コントロールパラメータ (Parameters)

パラメータ名データ型必須デフォルト値範囲/オプション説明
sage_attentionCOMBOはいFalse-comfy attention をグローバルにパッチして sageattn を使用します。一度パッチを適用すると、通常の状態に戻すには、このノードを無効化オプションで再度実行する必要があります。
allow_compileBOOLEANいいえFalse-sage attention 関数に対して torch.compile の使用を許可します。最新の sageattn 2.2.0 以降が必要です。

出力 (Output)

パラメータ名データ型説明
MODELMODEL指定された Sage Attention モードのパッチが適用されたモデルのコピーを出力します。

使用シナリオ

画像生成ワークフローでは、このノードをモデル読み込みノードの後、サンプラーノードの前に接続できます。Sage Attention がもたらす異なるスタイル効果や潜在的な速度向上を試したい場合は、このノードを有効にして対応するモードを選択します。標準の生成効果に戻したい場合は、このノードを再度実行し、モードを "disabled" に設定する必要があります。

注意事項

これは実験的なノードであり、その動作は不安定であったり、依存ライブラリの更新によって変更される可能性があることに注意してください。一度パッチを適用すると、ノードを再実行して無効化しない限り、元のアテンション状態に戻すことはできません。

Patch Sage Attention KJ ノードソースコードリンク

Patch Sage Attention KJ ノードは ComfyUI-KJNodes ノードパッケージに含まれています。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…