ACE-Step 1.5: 公式ComfyUIサポート付きオープン音楽生成モデル

ACE-Step 1.5は、ACE StudioとStepFunによるオープンソースの音楽基盤モデルです。テキストプロンプトを完全な楽曲(短いループから10分の楽曲まで)に変換し、コンシューマー向けハードウェアでも十分な速度で動作します。Turboバリアントは、A100で2秒未満、RTX 3090で10秒未満でフル楽曲を生成し、4GB未満のVRAMでローカルに実行できます。

ハイブリッドLM + DiTアーキテクチャ

ACE-Step 1.5は、Qwenベースの言語モデル(0.6B / 1.7B / 4B)とdiffusion transformerを組み合わせたモデルです。LMは万能プランナーとして機能し、単純なユーザークエリを、chain-of-thoughtを通じて生成された構造、メタデータ、歌詞、キャプションを含む包括的な楽曲ブループリントに変換してDiTを導きます。この整列は、外部の報酬モデルや人間の選好データを使用せず、内在的強化学習によって学習されます。

合成に加えて、このモデルはスタイル制御と、カバー生成、リペイント、ボーカルからBGMへの変換などの編集機能を統合しており、50以上の言語でプロンプトへの追従性を維持します。このファミリーは、3つのLMサイズに加えて、base、sft、turbo(8ステップ蒸留)、turbo-rlの4つのDiTバリアントで構成されています:

公式ComfyUIサポート

Comfy-Orgは、ACE-Step 1.5向けの公式ComfyUIファイル(オールインワンのTurbo checkpoint、分割されたdiffusionモデル(Base / Turbo / XLバリアント)、Qwenテキストエンコーダー、VAE)と、ステップバイステップのdocs.comfy.orgチュートリアルを提供しています。公式ワークフローテンプレートはComfy-Org workflow_templatesリポジトリにあります:

ACE-Step 1.5 checkpointワークフローをダウンロード ACE-Step 1.5 splitワークフローをダウンロード

入手方法

モデルのウェイトはHugging FaceとModelScopeで公開されており、インタラクティブなSpaceデモとarXivのテクニカルレポートも利用できます。