KJNodes/ltxvgenerated

LTXV 分块前馈(LTXVChunkFeedForward)

实验性并且可能会改变模型输出!! 将前馈激活分块以减少峰值显存使用。

LTXV Chunk Feed Forward

model
model
chunks
2
dim_threshold
4096
KJNodes

描述

此节点将 LTXV 模型内部的前馈激活分块,以减少峰值显存使用。实验性并且可能会改变模型输出!! 请谨慎使用,并将结果与未修改的模型进行验证。将激活拆分为较小的块,可以处理更大的分辨率或序列而不会超出内存限制,但可能会改变数值精度(尤其在注意力或归一化路径中),从而影响最终输出质量。

输入

输入类型必填默认值范围提示
modelMODEL要修改的 LTXV 模型。
chunksINT2[1, 100], 步长 1将前馈激活分成的块数,用于降低峰值显存使用。较高的值进一步降低峰值内存,但可能增加运行时间并改变输出。值为 1 时完全禁用分块。
dim_thresholdINT4096[0, 16384], 步长 256应用分块的维度阈值。只有隐藏大小大于等于此阈值的图层才会被分块。设置为 0 可对所有图层进行分块(内存节省最大,输出变化风险最高)。

输出

输出类型描述
modelMODEL修改后的 LTXV 模型,已根据给定参数应用了分块前馈激活。

使用说明

  • 此节点面向高级用户,需要在有限的显存中适配非常大的 LTXV 模型变体或高分辨率生成工作流。
  • 由于分块改变了前馈块内部的操作顺序,数值结果与未修补的模型并非位相同。在依赖分块版本进行生产之前,务必在代表性提示上测试输出。
  • dim_threshold 允许你将分块限制在最大(最消耗内存的)图层。对于典型的 LTXV 模型,将 dim_threshold 设置为 4096 仅分块最大的图层,可平衡内存节省与输出保真度。
  • chunks 增加到 8–16 以上通常收益递减且会增加开销;2–8 是大多数用例的实用范围。
  • 如果遇到意外伪影或内存不足错误,请尝试降低 chunks 或提高 dim_threshold

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
LTXV 分块前馈 (LTXVChunkFeedForward) - ComfyUI-KJNodes | ComfyUI Wiki