Выпущен Krea 2 Depth ControlNet: генерация с управлением по глубине с поддержкой ComfyUI

Разработчик из сообщества Tanmay Patil выпустил Krea 2 Depth ControlNet — ControlNet-LoRA, добавляющую генерацию с управлением по глубине в Krea 2. Один файл LoRA размером 862 МБ позволяет управлять трёхмерной структурой создаваемых изображений, сохраняя полную творческую свободу в отношении содержания и стиля.

Модель доступна на Hugging Face: Patil/Krea-2-depth-controlnet.

Как это работает

При подаче любого входного изображения и текстовой подсказки ControlNet извлекает карту глубины с помощью Depth-Anything-V2, а затем генерирует новое изображение, сохраняющее ту же трёхмерную структуру и композицию. Согласованность глубины (корреляция Пирсона между глубиной входа и глубиной сгенерированного выхода) достигает 0,98 без подсказки и 0,99 с подсказкой, то есть геометрическая структура faithfully переносится.

ControlNet обучен на Krea 2 Raw и работает с обеими базовыми моделями — Raw (28–52 шага, CFG 3.5) и Turbo (8 шагов, без CFG) — взаимозаменяемо. Регулятор масштаба LoRA позволяет настраивать силу следования глубине: от строгого структурного воспроизведения при 1,0 до большей творческой свободы при меньших значениях.

Использование

Репозиторий предоставляет простой скрипт для инференса:

# Turbo base — fast, recommended (8 steps, no CFG)
python inference.py photo.jpg -p "a futuristic spaceship interior, cinematic lighting" \
    --lora depth-control-lora.safetensors

# Raw base — maximum quality (28-52 steps, CFG 3.5)
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --base raw

# No prompt: depth map is the only signal
python inference.py photo.jpg --lora depth-control-lora.safetensors --save-strip

# Weaker structure adherence
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --lora-scale 0.6

Флаг --save-strip выводит сравнительное изображение рядом: входное изображение, извлечённая карта глубины и сгенерированный результат — для удобной оценки.

Интеграция с ComfyUI

ControlNet полностью совместим с ComfyUI через пользовательскую ноду comfyui-krea2-controlnet от facok. Эта нода предоставляет простой интерфейс для загрузки LoRA ControlNet глубины и её применения в рабочем процессе Krea 2.

Чтобы использовать её в ComfyUI:

1. Загрузите depth-control-lora.safetensors из репозитория Hugging Face
2. Установите пользовательскую ноду comfyui-krea2-controlnet
3. Загрузите LoRA через интерфейс пользовательской ноды и подключите её к вашему рабочему процессу Krea 2
4. Укажите входное изображение в качестве эталона глубины

Подробности о файле

Базовая модель остаётся замороженной — загружаются только веса LoRA, что делает эффективным переключение между различными режимами ControlNet.

Лицензия

Модель выпущена под лицензией Krea 2 Community License, что согласуется с более широкой экосистемой Krea 2.