Krea 2 Depth ControlNetリリース:ComfyUI対応の深度条件付き生成

news

Tanmay Patil氏がKrea 2 Depth ControlNet-LoRAをリリース。Krea 2 RawおよびTurboの両方で動作し、深度一貫性はピアソン相関係数0.99に達します。

コミュニティ開発者のTanmay Patil氏がKrea 2 Depth ControlNetをリリースしました。これはKrea 2に深度条件付き生成を追加するControlNet-LoRAです。単一の862MBのLoRAファイルにより、コンテンツとスタイルの完全な創造的自由度を保ちながら、生成画像の3D構造を制御できます。

モデルはHugging Faceで入手可能です:Patil/Krea-2-depth-controlnet

仕組み

任意の入力画像とテキストプロンプトが与えられると、ControlNetはDepth-Anything-V2を使用して深度マップを抽出し、同じ3D構造と構図を保持した新しい画像を生成します。深度一貫性(入力深度と生成出力の深度のピアソン相関)は、プロンプトなしで0.98、プロンプトありで0.99に達し、幾何学的構造が忠実に引き継がれます。

ControlNetはKrea 2 Rawで学習されており、Raw(28-52ステップ、CFG 3.5)とTurbo(8ステップ、CFGなし)のベースモデルを相互に使用できます。LoRAスケールダイヤルで深度追従の強度を調整可能です。1.0で厳密な構造再現、低い値でより創造的な自由度が得られます。

使用方法

リポジトリにはシンプルな推論スクリプトが用意されています。

# Turboベース - 高速、推奨(8ステップ、CFGなし)
python inference.py photo.jpg -p "a futuristic spaceship interior, cinematic lighting" \
    --lora depth-control-lora.safetensors

# Rawベース - 最高品質(28-52ステップ、CFG 3.5)
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --base raw

# プロンプトなし:深度マップのみが信号
python inference.py photo.jpg --lora depth-control-lora.safetensors --save-strip

# 弱い構造追従
python inference.py photo.jpg -p "..." --lora depth-control-lora.safetensors --lora-scale 0.6

--save-stripフラグを指定すると、入力画像、抽出された深度マップ、生成出力を横に並べて比較表示し、簡単に評価できます。

ComfyUI統合

このControlNetは、facok氏によるcomfyui-krea2-controlnetカスタムノードを介してComfyUIと完全に互換性があります。このノードは、深度ControlNet LoRAを読み込み、Krea 2ワークフローに適用するための簡単なインターフェースを提供します。

ComfyUIで使用する手順:

  1. Hugging Faceリポジトリからdepth-control-lora.safetensorsをダウンロード
  2. comfyui-krea2-controlnetカスタムノードをインストール
  3. カスタムノードのインターフェースからLoRAを読み込み、Krea 2ワークフローに接続
  4. 深度参照として入力画像を提供

ファイル詳細

ファイルベースサイズ
depth-control-lora.safetensorsKrea 2 Raw862 MB(ランク64 + 拡張入力投影)

ベースモデルは凍結されたままです。LoRAの重みのみが読み込まれるため、ControlNetモードの切り替えが効率的です。

ライセンス

本モデルは、Krea 2エコシステム全体と一貫性のあるKrea 2コミュニティライセンスの下でリリースされています。

Krea 2 Depth ControlNetリリース:ComfyUI対応の深度条件付き生成 | ComfyUI Wiki