ACE-Step 1.5: 공식 ComfyUI 지원과 함께하는 오픈 음악 생성 모델

ACE-Step 1.5는 ACE Studio와 StepFun이 개발한 오픈소스 음악 파운데이션 모델로, 텍스트 프롬프트를 짧은 루프부터 10분 길이의 곡까지 완전한 음악으로 변환하며, 소비자용 하드웨어에서도 충분히 빠른 속도를 제공합니다. Turbo 변형은 A100에서 2초 미만, RTX 3090에서 10초 미만으로 전체 곡을 생성하며, 4GB 미만의 VRAM으로 로컬에서 실행됩니다.

하이브리드 LM + DiT 아키텍처

ACE-Step 1.5는 Qwen 기반 언어 모델(0.6B / 1.7B / 4B)과 diffusion transformer를 결합합니다. LM은 모든 것을 처리할 수 있는 플래너 역할을 하며, 간단한 사용자 쿼리를 chain-of-thought를 통해 생성된 구조, 메타데이터, 가사, 캡션을 포함한 포괄적인 곡 블루프린트로 변환하여 DiT를 안내합니다. 이러한 정렬은 외부 보상 모델이나 인간 선호도 데이터 없이 내재적 강화 학습을 통해 학습됩니다.

합성 외에도 이 모델은 커버 생성, 리페인팅, 보컬-BGM 변환과 같은 편집 기능과 스타일 제어를 통합하며, 50개 이상의 언어에서 프롬프트 준수를 유지합니다. 제품군은 세 가지 LM 크기와 함께 네 가지 DiT 변형(base, sft, turbo (8스텝 증류), turbo-rl)으로 제공됩니다.

공식 ComfyUI 지원

Comfy-Org는 ACE-Step 1.5용 공식 ComfyUI 파일을 제공합니다. 이 파일에는 올인원 Turbo 체크포인트, 분할 diffusion 모델(Base / Turbo / XL 변형), Qwen 텍스트 인코더, VAE가 포함되며, 단계별 docs.comfy.org 튜토리얼도 제공됩니다. 공식 워크플로 템플릿은 Comfy-Org workflow_templates 저장소에 있습니다:

ACE-Step 1.5 체크포인트 워크플로 다운로드 ACE-Step 1.5 분할 워크플로 다운로드

사용 가능한 곳

가중치는 Hugging Face 및 ModelScope에서 제공되며, 대화형 Space 데모와 arXiv의 기술 보고서도 제공됩니다.