描述
一个实验性节点，用于修补扩散模型的注意力机制以使用Flash注意力（通过flash_attn库）。与ComfyUI默认的SDPA回退不同，此节点直接强制使用Flash注意力。要禁用补丁，请绕过或断开此节点。需要安装flash_attn Python包（运行pip install flash-attn）。
输入
| 名称 | 类型 | 必填 | 默认 | 描述 |
|---|---|---|---|---|
model | MODEL | 是 | – | 要修补的扩散模型。注意力图层将被替换为Flash注意力操作。 |
allow_compile | 布尔 | 否 | 否 | 如果为“是”，允许编译Flash注意力内核（例如使用PyTorch的torch.compile）以获得潜在性能提升。这可能会增加启动时间和内存使用。仅在兼容环境中启用。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
MODEL | MODEL | 已启用Flash注意力的修补模型。 |
使用说明
- 此节点是实验性的，可能不适用于所有模型架构或CUDA配置。
- 必须在您的环境中安装
flash_attn库。安装说明：pip install flash-attn（可能需要兼容CUDA的torch版本）。 - 如果遇到错误，请尝试绕过此节点以恢复为默认注意力机制。
allow_compile选项默认关闭；仅在您了解其影响（首次推理时间更长、潜在不稳定）时启用。
评论
使用 GitHub 登录后即可参与讨论。