KJNodes/torchcompilegenerated

TorchCompileModelWanVideoV2

该节点在技术层面利用 PyTorch 的 torch。

Torch Compile Model Wan Video V2

model
MODEL
backend
inductor
fullgraph
mode
default
dynamic
compile_transformer_blocks_only
dynamo_cache_size_limit
64
force_parameter_static_shapes
KJNodes

TorchCompileModelWanVideoV2 节点是一个用于优化模型推理性能的工具。它通过 PyTorch 的编译功能,将模型转换为更高效的执行格式,旨在提升生成图像或视频时的计算速度。此节点是 KJNodes/torchcompile 分类下的一个实验性节点。

节点功能

该节点在技术层面利用 PyTorch 的 torch.compile 机制,支持多种后端编译器和优化模式。它允许用户选择特定的模型组件(如仅编译 Transformer 块)进行编译,以减少编译时间并提高成功率。节点内部会调整 PyTorch Dynamo 的配置,例如缓存大小限制和参数形状处理方式,以适配不同的硬件和模型结构。

节点参数说明 - TorchCompileModelWanVideoV2

输入

参数名称数据类型必填默认值取值范围/选项说明
modelMODEL--接收待优化的原始模型输入,类型为 MODEL。这是节点进行编译处理的对象。

参数

参数名称数据类型必填默认值取值范围/选项说明
backendCOMBOinductor"inductor", "cudagraphs"选择 PyTorch 编译所使用的后端引擎。可选值为 "inductor" 或 "cudagraphs",分别对应不同的底层优化策略。
modeCOMBOdefault"default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead"用于在编译速度、内存占用和运行时性能之间进行权衡。
fullgraphBOOLEANFalse-启用全图形模式
dynamicBOOLEANFalse-启用动态模式
compile_transformer_blocks_onlyBOOLEANTrue-仅编译 Transformer 块,编译更快且不易出错
dynamo_cache_size_limitINT640 - 1024 (步长: 1)torch._dynamo.config.cache_size_limit
force_parameter_static_shapesBOOLEANTrue-torch._dynamo.config.force_parameter_static_shapes

输出

参数名称数据类型说明
MODELMODEL输出经过 PyTorch 编译优化后的模型,可直接用于后续的生成步骤。

使用场景

在视频生成或高分辨率图像生成的工作流中,当用户发现模型推理是性能瓶颈时,可以将此节点插入到模型加载之后、采样器之前。通过编译模型,可以加速后续的扩散采样步骤,从而缩短整体生成时间,尤其适用于需要批量生成或实时预览的场景。

注意事项

请注意,此节点已被标记为“弃用”,开发者建议使用更高级的 TorchCompileModelAdvanced 节点替代。它是一个实验性功能,其行为可能因 PyTorch 版本或硬件环境而异,使用前需进行充分测试。

TorchCompileModelWanVideoV2 节点源码链接

TorchCompileModelWanVideoV2 节点来自 ComfyUI-KJNodes 节点包。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…