EasyControl: 为扩散变换器带来高效灵活控制的新框架

由天玑智能(Tiamat AI)联合上海科技大学、新加坡国立大学及Liblib AI团队共同开发的EasyControl框架正式发布。这一框架为扩散变换器(DiT)模型添加了高效灵活的控制能力，现在ComfyUI用户可以通过专门的插件使用这一技术。

EasyControl框架介绍

EasyControl是一个为扩散变换器(DiT)设计的高效灵活的统一条件控制框架。随着生成模型架构从基于UNet的模型向DiT模型转变，如何为DiT添加有效的条件控制成为一项挑战。EasyControl通过三项关键创新解决了这一问题：

1. 轻量级条件注入LoRA模块 - 独立处理条件信号，无需修改基础模型权重，确保与自定义模型的兼容性，支持灵活注入各种条件。

2. 位置感知训练范式 - 将输入条件标准化为固定分辨率，允许生成任意长宽比和灵活分辨率的图像，同时优化计算效率。

3. 因果注意力机制与KV缓存技术 - 显著降低图像合成的延迟，提高框架整体效率。

这些技术使EasyControl能够支持模型兼容性(支持即插即用功能和风格无损控制)、生成灵活性(支持多种分辨率、长宽比和多条件组合)以及推理效率。

在 ComfyUI 中使用EasyControl

好消息是，ComfyUI用户现在可以通过ComfyUI-easycontrol插件在ComfyUI中使用EasyControl。该插件由GitHub用户jax-explorer开发，为ComfyUI带来了EasyControl的功能。 对应工作流 easy_control_workflow.json。

插件支持的控制类型

ComfyUI-easycontrol插件支持多种控制类型：

• 线稿控制(Canny)
• 深度图控制(Depth)
• 素描控制(HEDSketch)
• 姿势控制(Pose)
• 语义分割控制(Segmentation)
• 图像修复(Inpainting)
• 主题控制(Subject)
• 吉卜力风格控制(Ghibli)

吉卜力风格生成

特别值得一提的是，EasyControl最近推出了专门的吉卜力风格生成模型。该模型仅使用100张真实亚洲人脸与GPT-4o生成的吉卜力风格对应图像进行训练，能将肖像照片转换为保留面部特征的吉卜力动画风格图像，如《千与千寻》《龙猫》等作品的风格。

近期更新

EasyControl团队近期发布了多项更新：

• 2025-03-18: 预训练检查点在Hugging Face上发布
• 2025-03-19: Hugging Face演示页面上线
• 2025-04-01: 吉卜力风格控制模型发布
• 2025-04-03: ComfyUI-easycontrol插件支持上线
• 2025-04-07: 与CFG-Zero*集成，提升图像保真度和可控性

相关链接

• ComfyUI-easycontrol插件: https://github.com/jax-explorer/ComfyUI-easycontrol
• EasyControl官方项目: https://github.com/Xiaojiu-z/EasyControl
• EasyControl项目主页: https://easycontrolproj.github.io/
• EasyControl技术报告: https://arxiv.org/pdf/2503.07027
• 预训练模型: https://huggingface.co/Xiaojiu-Z/EasyControl/
• Hugging Face演示: https://huggingface.co/spaces/jamesliu1217/EasyControl
• Hugging Face吉卜力风格演示: https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli