YuE2-3B: MAP의 편집 가능한 스코어 기반 오픈 음악 생성 모델

개요

YuE2-3B는 원본 YuE 가사-투-송 모델의 후속 모델입니다. 팀은 이를 최전선 수준의 오픈 음악 생성으로 자리매김합니다. 192개 WildSongBench 프롬프트에서 best-of-8 샘플링을 적용한 YuE2는 SongBench 평균 6.9632에 도달했으며, 이는 6.8721을 기록한 Suno v5보다 높은 수치로, 평가된 모든 오픈 및 독점 모델 중 최고입니다.

192개 WildSongBench 프롬프트에서의 최전선 곡 품질과 텍스트 정렬. YuE2는 심볼릭 플래닝을 사용하며, Bo8은 best-of-8을 의미합니다.

핵심 기능은 편집 가능한 스코어를 통한 심볼릭 플래닝입니다. 텍스트에서 곧바로 오디오로 넘어가는 대신, YuE2는 먼저 멜로디와 코드가 담긴 플랜(ABC 표기법)을 작성한 뒤 그것으로 오디오를 렌더링합니다. 플랜이 명시적이기 때문에 다음과 같은 작업이 가능합니다.

• 작곡 및 편집: 전체 멜로디와 코드, 멜로디만, 또는 스코어 없이 직접 생성
• 자체 스코어 사용: 기존 ABC 스코어를 입력하면 YuE2가 그것을 노래합니다
• 에이전트로 편집: 음악적 피드백을 스코어, 스타일, 가사 수정으로 변환한 뒤 모델이 다음 버전을 렌더링하도록 합니다. 팀은 한 곡을 중국어 팝에서 영어 재즈로 바꾸는 14버전 편집 체인을 시연합니다.

아키텍처

하나의 AR–NAR Mixture-of-Transformers 백본이 스코어와 시맨틱 토큰을 작성한 다음 flow matching을 통해 어쿠스틱 latent를 생성합니다. VAE가 이를 스테레오 오디오로 변환합니다.

YuE2는 AR–NAR Mixture-of-Transformers 백본을 사용합니다. 오토리그레시브 단계가 스코어와 시맨틱 토큰을 계획하고, 비오토리그레시브 단계가 flow matching으로 어쿠스틱 latent를 생성하며, 전용 VAE가 이를 48 kHz 스테레오 오디오로 디코딩합니다. 플래닝 API와 합성 API가 각각 별도로 노출되므로, 개발자는 심볼릭 플랜을 검사하거나 교체할 수 있습니다.

예제 출력

모델 카드에는 오리지널 곡과 커버를 아우르는 전체 길이 데모가 포함되어 있습니다.

커버 예제들은 모델이 기존 곡을 완전히 다른 장르로 재해석하는 모습을 보여 주며, 에이전트 편집 데모에서는 한 곡에 대한 9단계 플래닝과 14개의 렌더링 버전을 살펴볼 수 있습니다.

실행하기

YuE2-3B는 양자화 없이 24 GB NVIDIA GPU(Linux, Python 3.10+)에서 로컬로 실행됩니다. 팀은 Hugging Face에서 7.3 GB 체크포인트와 함께 추론 휠을 배포합니다.

python -m pip install huggingface-hub==0.36.2
hf download m-a-p/YuE2-3B yue2_infer-0.1.5-py3-none-any.whl --local-dir .
python -m pip install ./yue2_infer-0.1.5-py3-none-any.whl

파이프라인은 Hugging Face 로딩, 텍스트 가이드(CFG), 그리고 분리된 플래닝 및 합성 API를 제공합니다. 전체 노트북과 커버/편집 레시피는 README에서 확인할 수 있습니다.

사용 가능 여부

아직 네이티브 ComfyUI 지원은 없습니다. 오랫동안 사용되어 온 커뮤니티 노드 ComfyUI_YuE가 YuE 시리즈를 ComfyUI에서 감싸 주지만, 작성 시점 기준 YuE2용으로 업데이트되지 않았으므로 오늘 YuE2-3B를 실행하려면 공식 Python 추론 패키지가 필요합니다. 호스팅 데모는 프로젝트 페이지에서 이용할 수 있습니다.

네이티브 ComfyUI 지원이 yue2 브랜치에 도착했습니다

9월 11일, ComfyUI 코어에 PR #16250으로 네이티브 YuE2 지원이 반영되었습니다. 작성 시점 기준 마스터가 아닌 별도의 yue2 브랜치에 있으므로, 사용해 보려면 해당 브랜치(커밋 d87e12ad)를 체크아웃해야 합니다. 바로 사용할 수 있는 올인원 체크포인트(yue2.safetensors, 7.8 GB)가 Comfy-Org Hugging Face 계정에 게시되어 있으며, 테스트 워크플로가 풀 리퀘스트에 첨부되어 있습니다.

네이티브 브랜치의 초기 렌더 결과는 나쁘지 않게 들리지만, 통합은 아직 출시 첫날 수준입니다.

• YuE2는 PyTorch, Transformers 및 기타 공유 패키지의 정확한 버전을 고정하므로, 독립 실행형 YuE2 요구 사항을 설치하면 ComfyUI가 필요로 하는 패키지를 덮어쓸 수 있습니다. 네이티브 브랜치는 다중 venv 문제를 피하지만, 설정 후에는 환경을 확인하세요.
• EmeraldApple-AI/ComfyUI-YuE2와 YuE2 휠을 격리하는 ScryptHunter 포크 같은 커뮤니티 노드 팩도 하루 만에 등장했습니다. 다만 현재로선 실험적인 1인 프로젝트입니다.
• YuE2 자체 VAE는 오디오와 연속적인 어쿠스틱 latent를 상호 변환할 뿐이므로, YuE2용 LoRA 학습은 아직 불가능합니다. 이산적인 시맨틱 음악 토큰과 YuE2 전용 학습 파이프라인은 공개되지 않았습니다.