説明
このノードは、LTXVモデル内のフィードフォワード活性化をチャンク分割して、ピークVRAM使用量を削減します。実験的でモデルの出力を変更する可能性があります!! 注意して使用し、未修正のモデルと結果を照らし合わせてください。活性化を小さなブロックに分割することで、メモリ制限を超えずに大きな解像度やシーケンスを処理できますが、数値精度(特にアテンションや正規化パス)が変化し、最終的な出力品質に影響を与える可能性があります。
入力
| 入力 | タイプ | 必須 | デフォルト | 範囲 | ツールチップ |
|---|---|---|---|---|---|
model | MODEL | はい | – | – | 変更するLTXVモデル。 |
chunks | INT(整数) | はい | 2 | [1, 100]、ステップ1 | ピークVRAM使用量を削減するためにフィードフォワード活性化を分割するチャンク数。値を大きくするとピークメモリはさらに減少しますが、実行時間が増加し出力が変化する可能性があります。1を指定するとチャンク分割は無効になります。 |
dim_threshold | INT(整数) | はい | 4096 | [0, 16384]、ステップ256 | チャンク分割を適用する次元のしきい値。隠れ層サイズがこの値以上のレイヤーのみがチャンク分割されます。0に設定するとすべてのレイヤーがチャンク分割されます(最大のメモリ節約、出力変更のリスクも最大)。 |
出力
| 出力 | タイプ | 説明 |
|---|---|---|
model | MODEL | 指定されたパラメータに従ってフィードフォワード活性化がチャンク分割された、変更済みのLTXVモデル。 |
使用上の注意
- このノードは、大容量のLTXVモデルバリアントや高解像度生成ワークフローを限られたVRAMにフィットさせる必要がある高度なユーザーを対象としています。
- チャンク分割によりフィードフォワードブロック内の操作順序が変わるため、数値結果は未修正モデルとビット単位で同一ではありません。本番でチャンク版を使用する前に、代表的なプロンプトで出力を必ずテストしてください。
dim_thresholdを使用すると、最も大きくメモリを消費するレイヤーにのみチャンク分割を制限できます。一般的なLTXVモデルでは、dim_thresholdを4096に設定すると最も大きなレイヤーのみがチャンク分割され、メモリ節約と出力品質のバランスが取れます。chunksを8~16以上に増やしてもメモリ節約効果は頭打ちになり、オーバーヘッドが増加する傾向があります。ほとんどのユースケースでは2~8が実用的な範囲です。- 予期しないアーティファクトやメモリ不足エラーが発生した場合は、
chunksを減らすかdim_thresholdを上げてみてください。
コメント
GitHubでサインインしてディスカッションに参加しましょう。