描述
此节点将 LTXV 模型内部的前馈激活分块,以减少峰值显存使用。实验性并且可能会改变模型输出!! 请谨慎使用,并将结果与未修改的模型进行验证。将激活拆分为较小的块,可以处理更大的分辨率或序列而不会超出内存限制,但可能会改变数值精度(尤其在注意力或归一化路径中),从而影响最终输出质量。
输入
| 输入 | 类型 | 必填 | 默认值 | 范围 | 提示 |
|---|---|---|---|---|---|
model | MODEL | 是 | – | – | 要修改的 LTXV 模型。 |
chunks | INT | 是 | 2 | [1, 100], 步长 1 | 将前馈激活分成的块数,用于降低峰值显存使用。较高的值进一步降低峰值内存,但可能增加运行时间并改变输出。值为 1 时完全禁用分块。 |
dim_threshold | INT | 是 | 4096 | [0, 16384], 步长 256 | 应用分块的维度阈值。只有隐藏大小大于等于此阈值的图层才会被分块。设置为 0 可对所有图层进行分块(内存节省最大,输出变化风险最高)。 |
输出
| 输出 | 类型 | 描述 |
|---|---|---|
model | MODEL | 修改后的 LTXV 模型,已根据给定参数应用了分块前馈激活。 |
使用说明
- 此节点面向高级用户,需要在有限的显存中适配非常大的 LTXV 模型变体或高分辨率生成工作流。
- 由于分块改变了前馈块内部的操作顺序,数值结果与未修补的模型并非位相同。在依赖分块版本进行生产之前,务必在代表性提示上测试输出。
dim_threshold允许你将分块限制在最大(最消耗内存的)图层。对于典型的 LTXV 模型,将dim_threshold设置为4096仅分块最大的图层,可平衡内存节省与输出保真度。- 将
chunks增加到8–16以上通常收益递减且会增加开销;2–8是大多数用例的实用范围。 - 如果遇到意外伪影或内存不足错误,请尝试降低
chunks或提高dim_threshold。
评论
使用 GitHub 登录后即可参与讨论。