Black Forest Labs выпускает открытую версию FLUX.1 Krea [dev] с нативной поддержкой ComfyUI
31.07.2025
EasyControl: Новый фреймворк для эффективного и гибкого управления Diffusion Transformer
Фреймворк EasyControl, совместно разработанный Tiamat AI, Шанхайским технологическим университетом, Национальным университетом Сингапура и Liblib AI, был официально выпущен. Этот фреймворк добавляет эффективные и гибкие возможности управления к моделям Diffusion Transformer (DiT), и пользователи ComfyUI теперь могут использовать эту технологию через специальный плагин.
Введение в фреймворк EasyControl
EasyControl - это эффективный и гибкий унифицированный фреймворк условного управления, разработанный для Diffusion Transformers (DiT). По мере перехода архитектур генеративных моделей от моделей на основе UNet к моделям DiT, добавление эффективного условного управления к DiT стало проблемой. EasyControl решает эту проблему через три ключевые инновации:
-
Легковесный модуль инъекции условий LoRA - Обрабатывает сигналы условий независимо без изменения весов базовой модели, обеспечивая совместимость с пользовательскими моделями и поддерживая гибкую инъекцию различных условий.
-
Парадигма обучения с осведомленностью о позиции - Нормализует входные условия к фиксированным разрешениям, позволяя генерировать изображения с произвольными соотношениями сторон и гибкими разрешениями, одновременно оптимизируя вычислительную эффективность.
-
Каузальный механизм внимания с технологией KV Cache - Значительно снижает задержку синтеза изображений и улучшает общую эффективность фреймворка.
Эти технологии позволяют EasyControl поддерживать совместимость моделей (обеспечивая функциональность plug-and-play и контроль без потери стиля), гибкость генерации (поддержка множественных разрешений, соотношений сторон и комбинаций многочисленных условий) и эффективность вывода.
Использование EasyControl в ComfyUI
Хорошая новость заключается в том, что пользователи ComfyUI теперь могут использовать EasyControl в ComfyUI через плагин ComfyUI-easycontrol. Разработанный пользователем GitHub jax-explorer, этот плагин приносит функциональность EasyControl в ComfyUI. Соответствующий workflow: easy_control_workflow.json.
Типы управления, поддерживаемые плагином
Плагин ComfyUI-easycontrol поддерживает различные типы управления:
- Управление краями Canny
- Управление картой глубины
- Управление эскизом HED
- Управление позой
- Управление семантической сегментацией
- Инпейнтинг
- Управление объектом
- Управление стилем Ghibli
Генерация в стиле Ghibli
Примечательно, что EasyControl недавно выпустил специализированную модель генерации в стиле Ghibli. Эта модель была обучена с использованием только 100 реальных азиатских лиц, сопоставленных с аналогами в стиле Ghibli, сгенерированными GPT-4o, что позволяет преобразовывать портретные фотографии в изображения в стиле анимации Ghibli, сохраняющие черты лица, подобные работам “Унесенные призраками” и “Мой сосед Тоторо”.
Последние обновления
Команда EasyControl недавно выпустила несколько обновлений:
- 2025-03-18: Предобученные чекпоинты выпущены на Hugging Face
- 2025-03-19: Запущена демо-страница на Hugging Face
- 2025-04-01: Выпущена модель управления стилем Ghibli
- 2025-04-03: Запущена поддержка плагина ComfyUI-easycontrol
- 2025-04-07: Интеграция с CFG-Zero*, улучшающая верность изображений и управляемость
Связанные ссылки
- Плагин ComfyUI-easycontrol: https://github.com/jax-explorer/ComfyUI-easycontrol
- Официальный проект EasyControl: https://github.com/Xiaojiu-z/EasyControl
- Домашняя страница проекта EasyControl: https://easycontrolproj.github.io/
- Технический отчет EasyControl: https://arxiv.org/pdf/2503.07027
- Предобученные модели: https://huggingface.co/Xiaojiu-Z/EasyControl/
- Демо на Hugging Face: https://huggingface.co/spaces/jamesliu1217/EasyControl
- Демо стиля Ghibli на Hugging Face: https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli