ACE-Step 1.5 : génération musicale open source avec support ComfyUI

ACE-Step 1.5 est un modèle de fondation musical open source développé par ACE Studio et StepFun qui transforme des invites textuelles en chansons complètes, des boucles courtes aux compositions de 10 minutes, assez rapidement pour le matériel grand public. La variante Turbo génère une chanson complète en moins de 2 secondes sur une A100 et en moins de 10 secondes sur une RTX 3090, en fonctionnement local avec moins de 4 Go de VRAM.

Architecture hybride LM + DiT

ACE-Step 1.5 associe un modèle de langue basé sur Qwen (0,6B / 1,7B / 4B) à un transformateur à diffusion. Le LM agit comme un planificateur polyvalent : il transforme une simple requête utilisateur en un plan complet de chanson (structure, métadonnées, paroles et légendes générés par chaîne de pensée) qui guide le DiT. Cet alignement est appris par apprentissage par renforcement intrinsèque, sans modèles de récompense externes ni données de préférences humaines.

Au-delà de la synthèse, le modèle unifie le contrôle stylistique avec des capacités d'édition telles que la génération de reprises, la repeinture et la conversion voix-vers-BGM, tout en conservant l'adhérence aux invites dans plus de 50 langues. La famille est disponible en quatre variantes DiT — base, sft, turbo (distillé en 8 étapes) et turbo-rl — accompagnées des trois tailles de LM :

Prise en charge officielle de ComfyUI

Comfy-Org maintient des fichiers ComfyUI officiels pour ACE-Step 1.5 — un checkpoint Turbo tout-en-un, des modèles de diffusion séparés (variantes Base / Turbo / XL), des encodeurs de texte Qwen et le VAE — ainsi qu'un tutoriel pas à pas sur docs.comfy.org. Les modèles de flux de travail officiels se trouvent dans le référentiel Comfy-Org workflow_templates :

Disponibilité

Les poids sont disponibles sur Hugging Face et ModelScope, avec une démo Space interactive et le rapport technique sur arXiv.