LTX2 アテンションチューナーパッチ(LTX2AttentionTunerPatch)

説明

実験的！ このノードは、LTX2モデルのフォワードパスにパッチを適用し、モダリティごとのアテンションスケーリング係数を適用します。また、パッチ未適用のフォワードパスと比較して、ピークVRAM使用量を削減します。生成中のビデオとオーディオのアテンションストリームの影響を微調整するために使用します。

入力

• model (MODEL, 必須) – パッチを適用するLTX2モデル。ComfyUIにロードされた互換性のあるモデルである必要があります。

• blocks (STRING, 必須, デフォルト: "") – パッチを適用するトランスフォーマーブロックインデックスのカンマ区切りリスト。空のままにするとすべてのブロックに適用されます。例: "0,2,4" はブロック0、2、4のみにパッチを適用します。

• video_scale (FLOAT, デフォルト: 1.0, 範囲: 0.0 – 100.0, ステップ 0.01) – ビデオ間アテンション（ビデオモダリティ内の自己アテンション）のスケーリング係数。

• audio_scale (FLOAT, デフォルト: 1.0, 範囲: 0.0 – 100.0, ステップ 0.01) – オーディオ間アテンション（オーディオモダリティ内の自己アテンション）のスケーリング係数。

• audio_to_video_scale (FLOAT, デフォルト: 1.0, 範囲: 0.0 – 100.0, ステップ 0.01) – オーディオからビデオへのクロスアテンションのスケーリング係数。オーディオ情報がビデオ表現にどの程度影響を与えるかを制御します。（ツールチップ: "ビデオアテンションのスケーリング係数。" – おそらくオーディオからのビデオアテンションへの影響の省略形。）

• video_to_audio_scale (FLOAT, デフォルト: 1.0, 範囲: 0.0 – 100.0, ステップ 0.01) – ビデオからオーディオへのクロスアテンションのスケーリング係数。ビデオ情報がオーディオ表現にどの程度影響を与えるかを制御します。（ツールチップ: "オーディオアテンションのスケーリング係数。" – 対応する省略形。）

• triton_kernels (BOOLEAN, デフォルト: True) – 有効にすると、norm+scale+shiftおよびRoPE適用操作にTriton fusedカーネルを使用します。これによりごくわずかに高速化できますが、Tritonがインストール済みの互換性のある環境が必要です。エラーが発生した場合や、純粋なPyTorchのフォールバックを希望する場合は無効にしてください。

出力

• MODEL – アテンションスケーリングの変更が適用された、パッチ済みのLTX2モデル。

使用上の注意

• このノードは実験的です。ワークフローをバックアップし、結果に依存する前に十分にテストしてください。
• ノードがフォワードパスを変更するため、パッチ適用済みモデルはカスタムアテンション実装を使用し、ピークVRAM消費を削減します。これは大規模な生成やメモリが制限されている場合に役立ちます。
• blocks入力により、特定のトランスフォーマーブロックのみに選択的にパッチを適用できます。これにより、効果を分離したり、パッチのパフォーマンスへの影響を軽減したりできます。
• すべてのスケール係数は、ソフトマックス前の生のアテンションロジットに対する乗数として機能します。値1.0はアテンションを変更しません。1.0より大きい値はそのモダリティの寄与を増幅し、1.0より小さい値は減衰させます。
• 4つのスケール係数（ビデオ、オーディオ、オーディオ→ビデオ、ビデオ→オーディオ）により、モダリティ内およびモダリティ間のアテンションを独立して制御できます。たとえば、ビデオ生成をオーディオトラックにより敏感にしたい場合は、audio_to_video_scaleを増やします。
• モダリティ間の調整が必要ない場合は、audio_to_video_scaleとvideo_to_audio_scaleを1.0のままにして、video_scaleとaudio_scaleのみを調整してください。
• triton_kernelsオプションは通常、有効のままで安全です。パッチ適用済みのフォワードパスをわずかに高速化するだけです。Tritonが未インストールの場合や互換性の問題が発生する場合は無効にしてください。