YuE2-3B: открытая генерация музыки с редактируемыми партитурами от MAP

Команда Multimodal Art Projection (m-a-p) открыла исходный код YuE2-3B: музыкальной модели на 3B параметров, которая превращает текст песни и стилевой промпт в полноценные песни с вокалом и аккомпанементом. В отличие от типичных систем преобразования текста в песню, YuE2 предоставляет редактируемый слой партитуры: мелодия и аккорды записываются в виде символьных планов, которые можно исправить до рендеринга. В оценке WildSongBench от команды модель обходит Suno v5. В ComfyUI теперь есть нативная поддержка YuE2 в ветке yue2 (PR #16250).

Обзор

YuE2-3B это преемник оригинальной модели генерации песни по тексту YuE. Команда позиционирует её как открытую генерацию музыки передового качества: на 192 промптах WildSongBench модель YuE2 с выборкой best-of-8 достигает среднего балла SongBench 6.9632 против 6.8721 у Suno v5, что является лучшим результатом среди всех оценённых открытых и проприетарных моделей.

Качество песен и выравнивание текста YuE2 на WildSongBench

Передовое качество песен и выравнивание текста на 192 промптах WildSongBench. YuE2 использует символьное планирование; Bo8 означает best-of-8.

Главная особенность: символьное планирование с редактируемой партитурой. Вместо прямого перехода от текста к аудио YuE2 сначала создаёт план, содержащий мелодию и аккорды (в нотации ABC), а затем рендерит из него аудио. Поскольку план явный, вы можете:

Сочинять и редактировать: полная мелодия плюс аккорды, только мелодия или прямая генерация без партитуры
Использовать свою партитуру: подать существующую партитуру в нотации ABC, и YuE2 споёт её
Редактировать с помощью агента: преобразовать музыкальную обратную связь в правки партитуры, стиля и текста, а затем позволить модели отрендерить следующую версию. Команда демонстрирует цепочку из 14 версий, переводящую одну песню из мандаринского попа в английский джаз.

Архитектура

Единый бэкбон AR–NAR Mixture-of-Transformers записывает партитуру и семантические токены, затем генерирует акустические латенты через flow matching. VAE превращает их в стереоаудио.

YuE2 использует бэкбон AR–NAR Mixture-of-Transformers. Авторегрессивная стадия планирует партитуру и семантические токены; неавторегрессивная стадия создаёт акустические латенты через flow matching, а выделенный VAE декодирует их в стереоаудио 48 кГц. API планирования и синтеза доступны по отдельности, поэтому разработчики могут просматривать или заменять символьный план.

Пример вывода

Карточка модели содержит демозаписи полной длины, включая оригинальные композиции и каверы:

Пример	Стиль	Длительность
Cyber Metal	Английский кибер-метал	5:00
今晚不眠	Мандаринский фанк / nu-disco	3:24
Passion	Английский рок	3:55
Auld Lang Syne	Кавер в стиле джаз-фанк	3:10
最炫民族风	Кавер в стиле баллады	4:45
Jingle Bells	Кавер в стиле хэви-метала	1:09

Примеры каверов показывают, как модель переосмысляет существующую песню в совершенно другом жанре, а демонстрация агентного редактирования проходит через 9 шагов планирования и 14 отрендеренных версий одной песни.

Запуск

YuE2-3B работает локально на NVIDIA GPU с 24 ГБ (Linux, Python 3.10+) без квантизации. Команда распространяет wheel-пакет для вывода вместе с чекпоинтом на 7.3 ГБ на Hugging Face:

python -m pip install huggingface-hub==0.36.2
hf download m-a-p/YuE2-3B yue2_infer-0.1.5-py3-none-any.whl --local-dir .
python -m pip install ./yue2_infer-0.1.5-py3-none-any.whl

Пайплайн предоставляет загрузку из Hugging Face, текстовое направление (CFG) и отдельные API планирования и синтеза. Полные ноутбуки, а также рецепты каверов и редактирования находятся в README.

Доступность

Нативной поддержки в ComfyUI пока нет. Давно существующая нода сообщества ComfyUI_YuE оборачивает серию YuE в ComfyUI; на момент написания она не обновлена под YuE2, поэтому сегодня для запуска YuE2-3B требуется официальный Python-пакет для вывода. Хостинговое демо доступно на странице проекта.

Нативная поддержка ComfyUI появилась в ветке yue2

11 сентября в ядре ComfyUI появилась нативная поддержка YuE2 в PR #16250. На момент написания она находится в отдельной ветке yue2, а не в master, поэтому, чтобы попробовать её, нужно переключиться на эту ветку (коммит d87e12ad). Готовый комплексный чекпоинт (yue2.safetensors, 7.8 ГБ) опубликован в аккаунте Comfy-Org на Hugging Face, а тестовый рабочий процесс прикреплён к пул-реквесту.

Ранние рендеры из нативной ветки звучат приемлемо, но интеграция всё ещё совсем свежая:

YuE2 жёстко фиксирует точные версии PyTorch, Transformers и других общих пакетов, поэтому установка отдельных требований YuE2 может перезаписать пакеты, нужные ComfyUI. Нативная ветка избавляет от проблемы множества venv, но после установки проверьте своё окружение.
Ноды сообщества, такие как EmeraldApple-AI/ComfyUI-YuE2 и форк ScryptHunter, изолирующий wheel YuE2, также появились в течение суток; пока это экспериментальные проекты одного человека.
Собственный VAE модели YuE2 лишь преобразует аудио в непрерывные акустические латенты и обратно, а значит обучение LoRA для YuE2 пока невозможно: дискретные семантические музыкальные токены и специальный обучающий пайплайн для YuE2 не выпущены.