説明
拡散モデルのアテンション機構を（flash_attn ライブラリを使用して）フラッシュアテンションにパッチする実験的なノードです。ComfyUIのデフォルトのSDPAフォールバックとは異なり、このノードはフラッシュアテンションを直接強制します。パッチを無効にするには、このノードをバイパスまたは切断してください。flash_attn Pythonパッケージがインストールされている必要があります（pip install flash-attnを実行）。
入力
| 名前 | タイプ | 必須 | デフォルト | 説明 |
|---|---|---|---|---|
model | MODEL | はい | – | パッチする拡散モデル。アテンションレイヤーはフラッシュアテンション操作に置き換えられます。 |
allow_compile | ブール | いいえ | False | Trueの場合、フラッシュアテンションカーネルをコンパイル（例：PyTorchの torch.compile を使用）してパフォーマンス向上の可能性を許可します。起動時間とメモリ使用量が増加する可能性があります。互換性のある環境でのみ有効にしてください。 |
出力
| 名前 | タイプ | 説明 |
|---|---|---|
MODEL | MODEL | フラッシュアテンションが有効化されたパッチ済みモデル。 |
使用上の注意
- このノードは実験的であり、すべてのモデルアーキテクチャやCUDA設定で動作するとは限りません。
flash_attnライブラリが環境にインストール済みである必要があります。インストール手順：pip install flash-attn（CUDA互換のtorchビルドが必要な場合があります）。- エラーが発生した場合は、ノードをバイパスしてデフォルトのアテンション機構に戻してみてください。
allow_compileオプションはデフォルトでオフです。影響（初回推論の長時間化、潜在的な不安定性）を理解している場合のみ有効にしてください。
コメント
GitHubでサインインしてディスカッションに参加しましょう。