ComfyUI Krea2T 增强器为 Krea 2 添加注意力加权短语控制
capitan01R 的 Krea2T 增强器新增了一个注意力加权短语节点,允许你在 Krea 2 的 DiT 注意力中直接增强或抑制单个提示短语。
(phrase:weight) 标记重要短语,该节点会调整 Krea 2 图像 token 对这些特定单词的关注强度。
为什么传统提示词权重在 Krea 2 上不起作用
Krea 2 不使用传统的单层 CLIP 嵌入。其文本编码器提供十二个选定的 Qwen 隐藏状态采样点,为每个 token 生成 12 x 2560 表示,随后经过内部文本融合路径,之后文本和图像 token 才进入共享的 DiT 块。标准强调技巧无法清晰映射到此流程:乘以条件行可能会被后续归一化抵消,而 token 重复会改变序列长度。
新节点保持原始提示词序列完整。它正常编码纯文本,定位属于每个加权短语的 Qwen token 行,并在共享 DiT 块内将 log(w) 添加到选定的图像到文本注意力 logits 中。Softmax 后,这将把短语的注意力几率乘以 w,而无需复制、删除、平均或重新缩放任何条件行。
使用新编码器节点在 Krea 2 上进行短语级注意力控制
权重如何表现
| 权重 | 效果 |
|---|---|
1.0 | 精确中性,无变化 |
高于 1.0 | 短语获得更高注意力优先级 |
0.0 到 1.0 | 降低注意力优先级 |
0.0 | 最强短语抑制 |
权重是相对几率乘数,而非大小或可见性保证。作者建议从 1.5 或 2.0 开始,在固定种子下一次调整一个短语,然后再组合权重。实际示例如下:
A scene containing a (primary subject:2.0) beside a (secondary object:0.6)标注在分词前被移除,重叠的加权部分会被拒绝。该节点还会验证模型布局:它仅在具有 12 x 2560 布局的纯文本 Krea 2 条件下运行,对于不匹配的编码器或不支持的架构会报错失败,而不是应用不确定的映射。
使用加权短语条件生成的示例输出
检查输出与可调试性
一个字符串输出记录纯文本、每个加权短语、其数值权重以及选定的确切 Qwen token 行、token ID 和解码片段。当你需要验证权重实际作用于何处时,将其连接到文本预览。采样时不需要此功能。
工作流
该仓库附带了新编码器节点的示例工作流:
安装
克隆仓库到 ComfyUI/custom_nodes 并重新启动:
cd ComfyUI/custom_nodes
git clone https://github.com/capitan01R/ComfyUI-Krea2T-Enhancer.git除了正常的 Krea 2 设置外,不需要额外的 Python 包。该节点位于你的 LoRA 加载器和采样器之间:将最终模型链和 Krea2 CLIP 连接到它,将其 MODEL 输出发送给采样器,将其 CONDITIONING 输出发送到正向路径。v1.3 更新还包括现有的增强器节点:ComfyUI-Krea2T-Enhancer,Krea2T Enhancer 高级(带有 post-txtmlp 的 text_scale 控制),以及用于官方 Turbo 8 步调度表的 Krea2 Turbo Reference Sigmas (From Latent)。
评论
使用 GitHub 登录后即可参与讨论。