EasyControl: 拡散トランスフォーマーに効率的で柔軟な制御をもたらす新フレームワーク

天玑智能（Tiamat AI）、上海科技大学、シンガポール国立大学、Liblib AIの共同開発によるEasyControlフレームワークが正式にリリースされました。このフレームワークは拡散トランスフォーマー（DiT）モデルに効率的で柔軟な制御機能を追加し、ComfyUIユーザーは専用プラグインを通じてこの技術を利用できるようになりました。

EasyControlフレームワークの紹介

EasyControlは拡散トランスフォーマー（DiT）向けに設計された、効率的で柔軟な統一条件制御フレームワークです。生成モデルアーキテクチャがUNetベースのモデルからDiTモデルへと移行する中、DiTに効果的な条件制御を追加することが課題となっていました。EasyControlは3つの主要な革新によりこの問題を解決しています：

軽量条件注入LoRAモジュール - 基本モデルの重みを変更せずに条件信号を独立して処理し、カスタムモデルとの互換性を確保しながら、様々な条件の柔軟な注入をサポートします。
位置認識トレーニングパラダイム - 入力条件を固定解像度に正規化し、任意のアスペクト比と柔軟な解像度の画像生成を可能にしながら、計算効率を最適化します。
KVキャッシュ技術を組み合わせた因果的注意機構 - 画像合成の遅延を大幅に削減し、フレームワーク全体の効率を向上させます。

これらの技術により、EasyControlはモデル互換性（プラグアンドプレイ機能とスタイル損失のない制御を可能に）、生成の柔軟性（複数の解像度、アスペクト比、マルチコンディション組み合わせをサポート）、および推論効率をサポートできます。

ComfyUIでEasyControlを使用する

ComfyUIユーザーはComfyUI-easycontrolプラグインを通じてComfyUIでEasyControlを使用できるようになりました。GitHubユーザーjax-explorerによって開発されたこのプラグインは、ComfyUIにEasyControlの機能をもたらします。対応するワークフロー: easy_control_workflow.json。

プラグインがサポートする制御タイプ

ComfyUI-easycontrolプラグインは様々な制御タイプをサポートしています：

キャニーエッジ制御
深度マップ制御
HEDスケッチ制御
ポーズ制御
セマンティックセグメンテーション制御
インペインティング
被写体制御
ジブリスタイル制御

ジブリスタイル生成

特筆すべきは、EasyControlが最近専用のジブリスタイル生成モデルをリリースしたことです。このモデルはGPT-4oによって生成されたジブリスタイルの対応画像とペアになった、わずか100枚の実際のアジア人の顔を使用してトレーニングされました。これにより、「千と千尋の神隠し」や「となりのトトロ」などの作品のように、顔の特徴を保持しながら肖像写真をジブリアニメーションスタイルの画像に変換することができます。

ジブリスタイル例ジブリスタイル例2