Skip to content
ComfyUI Wiki•
Помогите создать лучшую базу знаний ComfyUI Стать спонсором
НовостиEasyControl: Новый фреймворк для эффективного и гибкого управления Diffusion Transformer

ComfyUI Челлендж #1: Присоединяйтесь и выиграйте $100

21.08.2025

EasyControl: Новый фреймворк для эффективного и гибкого управления Diffusion Transformer

Фреймворк EasyControl, совместно разработанный Tiamat AI, Шанхайским технологическим университетом, Национальным университетом Сингапура и Liblib AI, был официально выпущен. Этот фреймворк добавляет эффективные и гибкие возможности управления к моделям Diffusion Transformer (DiT), и пользователи ComfyUI теперь могут использовать эту технологию через специальный плагин.

Введение в фреймворк EasyControl

EasyControl - это эффективный и гибкий унифицированный фреймворк условного управления, разработанный для Diffusion Transformers (DiT). По мере перехода архитектур генеративных моделей от моделей на основе UNet к моделям DiT, добавление эффективного условного управления к DiT стало проблемой. EasyControl решает эту проблему через три ключевые инновации:

  1. Легковесный модуль инъекции условий LoRA - Обрабатывает сигналы условий независимо без изменения весов базовой модели, обеспечивая совместимость с пользовательскими моделями и поддерживая гибкую инъекцию различных условий.

  2. Парадигма обучения с осведомленностью о позиции - Нормализует входные условия к фиксированным разрешениям, позволяя генерировать изображения с произвольными соотношениями сторон и гибкими разрешениями, одновременно оптимизируя вычислительную эффективность.

  3. Каузальный механизм внимания с технологией KV Cache - Значительно снижает задержку синтеза изображений и улучшает общую эффективность фреймворка.

Эти технологии позволяют EasyControl поддерживать совместимость моделей (обеспечивая функциональность plug-and-play и контроль без потери стиля), гибкость генерации (поддержка множественных разрешений, соотношений сторон и комбинаций многочисленных условий) и эффективность вывода.

Использование EasyControl в ComfyUI

Хорошая новость заключается в том, что пользователи ComfyUI теперь могут использовать EasyControl в ComfyUI через плагин ComfyUI-easycontrol. Разработанный пользователем GitHub jax-explorer, этот плагин приносит функциональность EasyControl в ComfyUI. Соответствующий workflow: easy_control_workflow.json.

Типы управления, поддерживаемые плагином

Плагин ComfyUI-easycontrol поддерживает различные типы управления:

  • Управление краями Canny
  • Управление картой глубины
  • Управление эскизом HED
  • Управление позой
  • Управление семантической сегментацией
  • Инпейнтинг
  • Управление объектом
  • Управление стилем Ghibli

Генерация в стиле Ghibli

Примечательно, что EasyControl недавно выпустил специализированную модель генерации в стиле Ghibli. Эта модель была обучена с использованием только 100 реальных азиатских лиц, сопоставленных с аналогами в стиле Ghibli, сгенерированными GPT-4o, что позволяет преобразовывать портретные фотографии в изображения в стиле анимации Ghibli, сохраняющие черты лица, подобные работам “Унесенные призраками” и “Мой сосед Тоторо”.

Пример стиля Ghibli Пример стиля Ghibli 2

Генерация в стиле Ghibli

Последние обновления

Команда EasyControl недавно выпустила несколько обновлений:

  • 2025-03-18: Предобученные чекпоинты выпущены на Hugging Face
  • 2025-03-19: Запущена демо-страница на Hugging Face
  • 2025-04-01: Выпущена модель управления стилем Ghibli
  • 2025-04-03: Запущена поддержка плагина ComfyUI-easycontrol
  • 2025-04-07: Интеграция с CFG-Zero*, улучшающая верность изображений и управляемость

Связанные ссылки