Diffusion Model Loader KJ(DiffusionModelLoaderKJ)
该节点在加载模型时,提供了对权重数据类型和计算数据类型的精细控制,支持从 fp8 到 fp32 等多种精度格式
Diffusion Model Loader KJ
Diffusion Model Loader KJ 节点在加载模型时,提供了对权重数据类型和计算数据类型的精细控制,支持从 fp8 到 fp32 等多种精度格式。
Diffusion Model Loader KJ 是一个用于加载和配置扩散模型(如 Stable Diffusion)的节点。其核心功能是从指定路径加载模型文件,并允许用户调整模型在运行时的数值精度和计算行为,以优化性能或兼容性。
节点功能
该节点在加载模型时,提供了对权重数据类型和计算数据类型的精细控制,支持从 fp8 到 fp32 等多种精度格式。其关键技术特性包括可选的 CublasLinear 补丁以利用特定 GPU 加速库、可集成 SageAttention 机制,并支持通过额外状态字典来合并或增强模型功能(例如为视频模型添加 VACE 模块)。
节点参数说明 - Diffusion Model Loader KJ
连接输入 (Inputs)
| 参数名称 | 数据类型 | 必填 | 默认值 | 取值范围/选项 | 说明 |
|---|---|---|---|---|---|
model_name | COMBO | 是 | - | - | 选择要加载的扩散模型文件。该参数从 ComfyUI 管理的模型目录中列出所有可用模型。 |
控件参数 (Parameters)
| 参数名称 | 数据类型 | 必填 | 默认值 | 取值范围/选项 | 说明 |
|---|---|---|---|---|---|
weight_dtype | COMBO | 是 | default | default, fp8_e4m3fn, fp8_e4m3fn_fast, fp8_e5m2, fp16, bf16, fp32 | 用于平衡内存占用与计算精度。 |
compute_dtype | COMBO | 是 | default | default, fp16, bf16, fp32 | 影响计算速度和数值稳定性。 |
patch_cublaslinear | BOOLEAN | 是 | False | - | 启用或禁用 cublas_ops 参数。 |
sage_attention | COMBO | 是 | False | false, true | 将 Comfy 注意力机制打补丁以使用 SageAttn。 |
enable_fp16_accumulation | BOOLEAN | 是 | False | - | 启用 torch.backends.cuda.matmul.allow_fp16_accumulation,需要 PyTorch 2.7.0 nightly。 |
extra_state_dict | STRING | 否 | - | - | 要加载的额外状态字典的完整路径,将与主状态字典合并。例如用于向 WanVideoModel 添加 VACE 模块。可使用 DiffusionModelSelector 轻松获取路径。 |
输出 (Output)
| 参数名称 | 数据类型 | 说明 |
|---|---|---|
| MODEL | MODEL | 输出已加载并配置好的模型,供后续节点使用。 |
使用场景
在需要加载基础模型并应用特定优化或功能扩展的工作流中,此节点非常有用。例如,你可以先使用此节点加载一个 WanVideoModel,然后通过 extra_state_dict 参数为其合并一个 VACE 模块的状态字典,从而构建一个功能增强的视频生成模型。
注意事项
此节点属于实验性类别,部分功能(如 enable_fp16_accumulation)需要特定版本的 PyTorch(如 2.7.0 nightly)才能正常工作。在使用高级数据类型(如 fp8)或补丁功能前,请确保你的硬件和软件环境支持。
安装(SageAttention)
此选项需要在你 ComfyUI 的 Python 环境中安装 SageAttention 库:
- 官方仓库(Linux): thu-ml/SageAttention -
pip install sageattention(要求python>=3.9、torch>=2.3.0、triton>=3.0.0、CUDA>=12.0;版本要求见 README) - Windows: woct0rdho/SageAttention - 提供 Windows 预编译 wheel;先安装 triton-windows,再从 releases 页面 选择匹配你 PyTorch 版本的 wheel(见 README)
如需 ComfyUI 内置的全局加速(无需节点),启动 ComfyUI 时加上 --use-sage-attention。如果某些模型(如 Wan、Qwen-Image)因量化溢出产生黑图或噪点,请使用 sageattn_qk_int8_pv_fp16_cuda(最不易溢出),或调整 pv_accum_dtype。
Diffusion Model Loader KJ 节点源码链接
Diffusion Model Loader KJ 节点来自 ComfyUI-KJNodes 节点包。
评论
使用 GitHub 登录后即可参与讨论。