KJNodes/torchcompilegenerated
TorchCompileModelWanVideoV2
该节点在技术层面利用 PyTorch 的 torch。
Torch Compile Model Wan Video V2
model
MODEL
backend
inductor
fullgraph
mode
default
dynamic
compile_transformer_blocks_only
dynamo_cache_size_limit
64
force_parameter_static_shapes
KJNodes
TorchCompileModelWanVideoV2 节点是一个用于优化模型推理性能的工具。它通过 PyTorch 的编译功能,将模型转换为更高效的执行格式,旨在提升生成图像或视频时的计算速度。此节点是 KJNodes/torchcompile 分类下的一个实验性节点。
节点功能
该节点在技术层面利用 PyTorch 的 torch.compile 机制,支持多种后端编译器和优化模式。它允许用户选择特定的模型组件(如仅编译 Transformer 块)进行编译,以减少编译时间并提高成功率。节点内部会调整 PyTorch Dynamo 的配置,例如缓存大小限制和参数形状处理方式,以适配不同的硬件和模型结构。
节点参数说明 - TorchCompileModelWanVideoV2
输入
| 参数名称 | 数据类型 | 必填 | 默认值 | 取值范围/选项 | 说明 |
|---|---|---|---|---|---|
model | MODEL | 是 | - | - | 接收待优化的原始模型输入,类型为 MODEL。这是节点进行编译处理的对象。 |
参数
| 参数名称 | 数据类型 | 必填 | 默认值 | 取值范围/选项 | 说明 |
|---|---|---|---|---|---|
backend | COMBO | 是 | inductor | "inductor", "cudagraphs" | 选择 PyTorch 编译所使用的后端引擎。可选值为 "inductor" 或 "cudagraphs",分别对应不同的底层优化策略。 |
mode | COMBO | 是 | default | "default", "max-autotune", "max-autotune-no-cudagraphs", "reduce-overhead" | 用于在编译速度、内存占用和运行时性能之间进行权衡。 |
fullgraph | BOOLEAN | 是 | False | - | 启用全图形模式 |
dynamic | BOOLEAN | 是 | False | - | 启用动态模式 |
compile_transformer_blocks_only | BOOLEAN | 是 | True | - | 仅编译 Transformer 块,编译更快且不易出错 |
dynamo_cache_size_limit | INT | 是 | 64 | 0 - 1024 (步长: 1) | torch._dynamo.config.cache_size_limit |
force_parameter_static_shapes | BOOLEAN | 否 | True | - | torch._dynamo.config.force_parameter_static_shapes |
输出
| 参数名称 | 数据类型 | 说明 |
|---|---|---|
| MODEL | MODEL | 输出经过 PyTorch 编译优化后的模型,可直接用于后续的生成步骤。 |
使用场景
在视频生成或高分辨率图像生成的工作流中,当用户发现模型推理是性能瓶颈时,可以将此节点插入到模型加载之后、采样器之前。通过编译模型,可以加速后续的扩散采样步骤,从而缩短整体生成时间,尤其适用于需要批量生成或实时预览的场景。
注意事项
请注意,此节点已被标记为“弃用”,开发者建议使用更高级的 TorchCompileModelAdvanced 节点替代。它是一个实验性功能,其行为可能因 PyTorch 版本或硬件环境而异,使用前需进行充分测试。
TorchCompileModelWanVideoV2 节点源码链接
TorchCompileModelWanVideoV2 节点来自 ComfyUI-KJNodes 节点包。
评论
使用 GitHub 登录后即可参与讨论。