ACE-Step 1.5: открытая музыкальная модель с поддержкой ComfyUI

ACE-Step 1.5 — это открытая базовая модель для генерации музыки от ACE Studio и StepFun, которая превращает текстовые запросы в полноценные песни: от коротких лупов до 10-минутных композиций. Она достаточно быстра для оборудования потребительского класса. Вариант Turbo генерирует полную песню менее чем за 2 секунды на A100 и менее чем за 10 секунд на RTX 3090, а для локального запуска требуется менее 4 ГБ видеопамяти.

Гибридная архитектура LM + DiT

ACE-Step 1.5 объединяет языковую модель на базе Qwen (0.6B / 1.7B / 4B) с диффузионным трансформером. Языковая модель выступает в роли универсального планировщика: она превращает простой пользовательский запрос в подробный чертёж песни (структуру, метаданные, текст и описания, сгенерированные через цепочку рассуждений), который направляет работу DiT. Это выравнивание достигается за счёт внутреннего обучения с подкреплением, без внешних моделей вознаграждения и данных о предпочтениях человека.

Помимо синтеза, модель объединяет стилистический контроль с возможностями редактирования, такими как создание каверов, репейнтинг и преобразование вокала в фоновую музыку (BGM), сохраняя при этом точность следования запросу на 50+ языках. Семейство выпускается в четырёх вариантах DiT: base, sft, turbo (дистиллированная до 8 шагов) и turbo-rl, а также в трёх размерах LM:

Официальная поддержка ComfyUI

Comfy-Org поддерживает официальные файлы ComfyUI для ACE-Step 1.5: универсальный чекпоинт Turbo, раздельные диффузионные модели (варианты Base / Turbo / XL), текстовые энкодеры Qwen и VAE, а также пошаговый учебник на docs.comfy.org. Официальные шаблоны рабочих процессов находятся в репозитории Comfy-Org workflow_templates:

Доступность

Веса доступны на Hugging Face и ModelScope, также доступны интерактивная демонстрация Space и технический отчёт на arXiv.