Shakker Labs、FLUX.1-dev-ControlNet-Union-Pro-2.0をリリース

Shakker Labsは最近、FLUX.1-devモデル用の新バージョンのControlNetネットワーク - FLUX.1-dev-ControlNet-Union-Pro-2.0をリリースしました。この新モデルは、特に制御効果の向上とモデルサイズの縮小において、複数の側面で最適化されています。

新バージョンの主な更新点

前世代のFLUX.1-dev-ControlNet-Union-Proと比較して、新バージョンには以下の顕著な改善が含まれています：

• より小さなモデルサイズ：モード埋め込み機能を削除し、モデルサイズを6.15GBから3.98GBに削減
• 制御効果の改善：キャニーエッジ検出とポーズ制御を最適化し、より優れた制御精度と美的効果を提供
• 制御モードの調整：ソフトエッジ（soft edge）のサポートを追加、タイル（tile）モードのサポートを削除

オンライン体験

サポートされている制御モード

このControlNetモデルは以下の複数の制御モードをサポートしています：

• キャニーエッジ検出（Canny）
• ソフトエッジ（Soft Edge）
• 深度マップ（Depth）
• ポーズ（Pose）
• グレースケール（Gray）

ユーザーは通常のControlNetと同様にこのモデルを使用でき、他のControlNetモデルと組み合わせて複数の制御効果を実現することができます。

モデルショーケース

以下は、様々な制御モードでのモデルのデモンストレーションです：

推奨パラメータ設定

異なる制御タイプに対する公式推奨には、以下のパラメータ設定が含まれています。controlnet_conditioning_scaleとcontrol_guidance_endパラメータを調整することで、より良い制御効果と詳細保持を実現できます：

• キャニーエッジ：cv2.Cannyアルゴリズムを使用、controlnet_conditioning_scale=0.7、control_guidance_end=0.8
• ソフトエッジ：AnylineDetectorを使用、controlnet_conditioning_scale=0.7、control_guidance_end=0.8
• 深度マップ：depth-anythingを使用、controlnet_conditioning_scale=0.8、control_guidance_end=0.8
• ポーズ：DWPoseを使用、controlnet_conditioning_scale=0.9、control_guidance_end=0.65
• グレースケール：cv2.cvtColorを使用、controlnet_conditioning_scale=0.9、control_guidance_end=0.8

より良い生成安定性のために、詳細なプロンプトの使用が強く推奨されています。場合によっては、複数の条件制御を使用することでより良い結果が得られます。

技術詳細

このControlNetモデルは6つのダブルブロックと0つのシングルブロックで構成され、モード埋め込みが削除されています。モデルは2000万枚の高品質な一般的な画像とポートレート画像のデータセットを使用して512x512解像度で30万ステップの訓練を一から行い、BFloat16精度、バッチサイズ128、学習率2e-5、ガイダンスサンプリング範囲1から7、テキストドロップアウト率0.20を採用しています。

関連リソース

• InstantX/FLUX.1-dev-IP-Adapter
• InstantX/FLUX.1-dev-Controlnet-Canny
• Shakker-Labs/FLUX.1-dev-ControlNet-Depth
• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro

関連リンク

• Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0