ControlNetとT2I-Adapter - ComfyUIワークフロー例

これらの例では、生の画像が直接ControlNet/T2Iアダプターに渡されることに注意してください。

各ControlNet/T2Iアダプターは、良好な結果を得るために、渡される画像が特定のモデルに応じたフォーマット（例：デプスマップ、キャニーマップなど）である必要があります。

ControlNetApplyノードは通常の画像をデプスマップやキャニーマップなどに変換しません。これを行うには、別途処理するか、こちらで見つけられるノードを使用して画像を前処理する必要があります。

最新のcontrolnetモデルファイルはオリジナルバージョンまたは小型fp16 safetensorsバージョンから入手できます。

SDXL用にstability.aiがリリースしたControl Lorasはこちら（ランク256）またはこちら（ランク128）で見つけることができます。これらは通常のControlNetモデルファイルと同じ方法で使用されます（同じディレクトリに配置します）。

ControlNetモデルファイルはComfyUI/models/controlnetディレクトリに配置します。

Scribble ControlNet

controlnetsの使用方法の簡単な例を示します。この例では、scribble controlnetとAnythingV3モデルを使用しています。この画像をComfyUIでロードして、完全なワークフローを取得できます。

このワークフローで使用した入力画像はこちらです：

T2I-AdapterとControlNetsの比較

T2I-AdaptersはControlNetsよりもはるかに効率的なので、強くお勧めします。ControlNetsは生成速度を大幅に低下させますが、T2I-Adaptersは生成速度にほとんど影響を与えません。

ControlNetsでは、ControlNetモデルは各イテレーションごとに一度実行されます。T2I-Adapterでは、モデルは全体で一度だけ実行されます。

T2I-AdaptersはComfyUIでControlNetsと同じ方法で使用されます：ControlNetLoaderノードを使用します。

この例で使用する入力画像はこちらです出典：

こちらがdepth T2I-Adapterの使用方法です：

こちらがdepth Controlnetの使用方法です。この例では、使用されているcontrolnetがdiff control netであるため、DiffControlNetLoaderノードを使用しています。Diff controlnetsはモデルの重みを正しくロードする必要があります。DiffControlNetLoaderノードは通常のcontrolnetモデルをロードするためにも使用できます。通常のcontrolnetモデルをロードする際には、ControlNetLoaderノードと同じように動作します。

これらの画像をComfyUIでロードして、完全なワークフローを取得できます。

Pose ControlNet

この例で使用する入力画像はこちらです：

こちらは、controlnetを使用したAnythingV3での最初のパスと、controlnetを使用しないAOM3A3（abyss orange mix 3）とそのVAEを使用した2回目のパスの例です。

この画像をComfyUIでロードして、完全なワークフローを取得できます。

ControlNetsのミキシング

複数のControlNetsとT2I-Adaptersをこのように適用することで、興味深い結果が得られます：

この画像をComfyUIでロードして、完全なワークフローを取得できます。

入力画像：