ACE-Step 1.5: música abierta con soporte oficial de ComfyUI

ACE-Step 1.5 es un modelo fundacional de música de código abierto de ACE Studio y StepFun que convierte indicaciones de texto en canciones completas, desde bucles cortos hasta composiciones de 10 minutos, lo bastante rápido para hardware de consumo. La variante Turbo genera una canción completa en menos de 2 segundos en una A100 y en menos de 10 segundos en una RTX 3090, ejecutándose localmente con menos de 4 GB de VRAM.

Arquitectura híbrida LM + DiT

ACE-Step 1.5 combina un modelo de lenguaje basado en Qwen (0.6B / 1.7B / 4B) con un transformer de difusión. El LM actúa como un planificador omnicapaz: convierte una consulta simple del usuario en un plano integral de la canción que guía al DiT, con estructura, metadatos, letras y descripciones generados mediante cadena de pensamiento. Esta alineación se aprende mediante aprendizaje por refuerzo intrínseco, sin modelos de recompensa externos ni datos de preferencias humanas.

Más allá de la síntesis, el modelo unifica el control estilístico con capacidades de edición como generación de covers, repintado y conversión de voz a BGM, manteniendo la adherencia a las indicaciones en más de 50 idiomas. La familia está disponible en cuatro variantes de DiT (base, sft, turbo (destilado en 8 pasos) y turbo-rl), junto con los tres tamaños de LM:

Soporte oficial de ComfyUI

Comfy-Org mantiene archivos oficiales de ComfyUI para ACE-Step 1.5: un checkpoint Turbo todo en uno, modelos de difusión divididos (variantes Base / Turbo / XL), codificadores de texto Qwen y el VAE, además de un tutorial paso a paso en docs.comfy.org. Las plantillas oficiales de flujos de trabajo se encuentran en el repositorio workflow_templates de Comfy-Org:

Disponibilidad

Los pesos están disponibles en Hugging Face y ModelScope, junto con una demo interactiva en Space y el informe técnico en arXiv.