Krea 2 Depth ControlNet 发布:支持 ComfyUI 的深度条件生成

news

Tanmay Patil 发布了 Krea 2 Depth ControlNet-LoRA,为 Krea 2 增加了深度条件图像生成能力。支持 Krea 2 Raw 和 Turbo 两种基础模型,深度一致性达到 0.99 Pearson 相关系数。

社区开发者 Tanmay Patil 发布了 Krea 2 Depth ControlNet,这是一款 ControlNet-LoRA,为 Krea 2 增加了深度条件生成能力。仅需一个 862MB 的 LoRA 文件,即可控制生成图像的 3D 结构,同时保留内容和风格的完全创作自由。

该模型已在 Hugging Face 上发布:Patil/Krea-2-depth-controlnet

工作原理

给定任意输入图像和文本提示词,ControlNet 使用 Depth-Anything-V2 提取深度图,然后生成保留相同 3D 结构和构图的新图像。深度一致性(输入深度与生成输出深度之间的 Pearson 相关系数)在无提示词时达到 0.98,有提示词时达到 0.99,意味着几何结构被忠实地保留。

该 ControlNet 在 Krea 2 Raw 上训练,可与 Raw(28-52 步,CFG 3.5)和 Turbo(8 步,无 CFG)两种基础模型互换使用。通过 LoRA 缩放旋钮,你可以调整深度遵循强度——从 1.0 时的严格结构复现到较低值时的更大创作自由。

使用方法

仓库提供了一个简单的推理脚本:

# Turbo 基础模型 — 快速,推荐(8 步,无 CFG)
python inference.py photo.jpg -p "a futuristic spaceship interior, cinematic lighting" \
    --lora depth-control-lora.safetensors

# Raw 基础模型 — 最高质量(28-52 步,CFG 3.5)
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --base raw

# 无提示词:仅深度图作为信号
python inference.py photo.jpg --lora depth-control-lora.safetensors --save-strip

# 较弱的结构遵循
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --lora-scale 0.6

--save-strip 标志会输出输入图像、提取的深度图和已生成输出的并排对比,方便评估。

ComfyUI 集成

该 ControlNet 通过 facok 开发的 comfyui-krea2-controlnet 自定义节点 与 ComfyUI 完全兼容。该节点提供了加载深度 ControlNet LoRA 并将其应用于 Krea 2 工作流的简便界面。

在 ComfyUI 中使用方法:

  1. Hugging Face 仓库 下载 depth-control-lora.safetensors
  2. 安装 comfyui-krea2-controlnet 自定义节点
  3. 通过自定义节点界面加载 LoRA,并将其连接到你的 Krea 2 工作流
  4. 提供输入图像作为深度参考

文件详情

文件基础模型大小
depth-control-lora.safetensorsKrea 2 Raw862 MB(秩 64 + 扩展输入投影)

基础模型保持冻结——仅加载 LoRA 权重,从而可以在不同 ControlNet 模式之间高效切换。

许可证

该模型根据 Krea 2 Community License 发布,与更广泛的 Krea 2 生态系统保持一致。

Krea 2 Depth ControlNet 发布:支持 ComfyUI 的深度条件生成 | ComfyUI Wiki