Skip to content
더 나은 ComfyUI 지식베이스 구축을 돕기 후원자 되기
새소식EasyControl: 확산 트랜스포머에 효율적이고 유연한 제어를 제공하는 새로운 프레임워크

바이트댄스, Seaweed-7B 출시: 비용 효율적인 비디오 생성 기반 모델

2025. 04. 14.

EasyControl: 확산 트랜스포머에 효율적이고 유연한 제어를 제공하는 새로운 프레임워크

Tiamat AI, 상하이 과학기술대학교, 싱가포르 국립대학교, Liblib AI가 공동으로 개발한 EasyControl 프레임워크가 공식 출시되었습니다. 이 프레임워크는 확산 트랜스포머(DiT) 모델에 효율적이고 유연한 제어 기능을 추가하며, ComfyUI 사용자들은 이제 전용 플러그인을 통해 이 기술을 사용할 수 있습니다.

EasyControl 프레임워크 소개

EasyControl은 확산 트랜스포머(DiT)를 위해 설계된 효율적이고 유연한 통합 조건부 제어 프레임워크입니다. 생성 모델 아키텍처가 UNet 기반 모델에서 DiT 모델로 전환됨에 따라 DiT에 효과적인 조건부 제어를 추가하는 것이 과제가 되었습니다. EasyControl은 세 가지 주요 혁신을 통해 이 문제를 해결합니다:

  1. 경량 조건 주입 LoRA 모듈 - 기본 모델 가중치를 수정하지 않고 조건 신호를 독립적으로 처리하여 사용자 정의 모델과의 호환성을 보장하고 다양한 조건의 유연한 주입을 지원합니다.

  2. 위치 인식 훈련 패러다임 - 입력 조건을 고정 해상도로 정규화하여 임의의 종횡비와 유연한 해상도의 이미지 생성을 가능하게 하면서 계산 효율성을 최적화합니다.

  3. KV 캐시 기술과 결합된 인과적 주의 메커니즘 - 이미지 합성 지연을 크게 줄이고 프레임워크의 전체 효율성을 향상시킵니다.

이러한 기술은 EasyControl이 모델 호환성(플러그 앤 플레이 기능 및 스타일 손실 없는 제어 가능), 생성 유연성(다양한 해상도, 종횡비 및 다중 조건 조합 지원) 및 추론 효율성을 지원할 수 있게 합니다.

ComfyUI에서 EasyControl 사용하기

ComfyUI 사용자는 이제 ComfyUI-easycontrol 플러그인을 통해 ComfyUI에서 EasyControl을 사용할 수 있습니다. GitHub 사용자 jax-explorer가 개발한 이 플러그인은 ComfyUI에 EasyControl의 기능을 제공합니다. 해당 워크플로우: easy_control_workflow.json.

플러그인이 지원하는 제어 유형

ComfyUI-easycontrol 플러그인은 다양한 제어 유형을 지원합니다:

  • 캐니 엣지 제어
  • 깊이 맵 제어
  • HED스케치 제어
  • 포즈 제어
  • 의미 분할 제어
  • 인페인팅
  • 주제 제어
  • 지브리 스타일 제어

지브리 스타일 생성

주목할 만한 점은 EasyControl이 최근 전문화된 지브리 스타일 생성 모델을 출시했다는 것입니다. 이 모델은 GPT-4o로 생성된 지브리 스타일 대응물과 쌍을 이룬 단 100개의 실제 아시아인 얼굴만을 사용하여 훈련되었으며, “센과 치히로의 행방불명”과 “이웃의 토토로”와 같은 작품처럼 얼굴 특징을 보존하면서 인물 사진을 지브리 애니메이션 스타일 이미지로 변환할 수 있습니다.

지브리 스타일 예시 지브리 스타일 예시 2

지브리 스타일 생성

최근 업데이트

EasyControl 팀은 최근 여러 업데이트를 발표했습니다:

  • 2025-03-18: Hugging Face에 사전 훈련된 체크포인트 공개
  • 2025-03-19: Hugging Face 데모 페이지 출시
  • 2025-04-01: 지브리 스타일 제어 모델 출시
  • 2025-04-03: ComfyUI-easycontrol 플러그인 지원 출시
  • 2025-04-07: CFG-Zero*와 통합하여 이미지 충실도와 제어성 향상

관련 링크