YuE2-3B: MAPによる編集可能なスコアを備えたオープン音楽生成モデル

概要

YuE2-3Bは、オリジナルのYuE歌詞から楽曲を生成するモデルの後継機です。チームはこれをフロンティア品質のオープン音楽生成として位置づけています。192件のWildSongBenchプロンプトにおいて、best-of-8サンプリングを用いたYuE2はSongBench平均6.9632に達し、Suno v5の6.8721を上回りました。これは評価対象となったすべてのオープンモデルおよびプロプライエタリモデルの中で最高の数値です。

192件のWildSongBenchプロンプトにおけるフロンティア水準の楽曲品質とテキスト整列。YuE2はシンボリックプランニングを使用。Bo8はbest-of-8を意味します。

最大の特徴は編集可能なスコアを伴うシンボリックプランニングです。テキストから直接音声へと進むのではなく、YuE2はまずメロディとコード（ABC記譜法）を含むプランを書き出し、そこから音声をレンダリングします。プランが明示的であるため、次のことが可能です。

• 作曲と編集: 完全なメロディとコード、メロディのみ、またはスコアなしでの直接生成
• 既存スコアの持ち込み: 既存のABCスコアを入力してYuE2に歌わせる
• エージェントによる編集: 音楽的なフィードバックをスコア、スタイル、歌詞の修正に変換し、モデルに次のバージョンをレンダリングさせる。チームは1曲をマンダリンのポップスから英語のジャズへと変化させる14バージョンの編集チェーンを実演しています。

アーキテクチャ

1つのAR–NAR Mixture-of-Transformersバックボーンがスコアとセマンティックトークンを書き出し、flow matchingを通じて音響latentを生成します。VAEがそれらをステレオ音声に変換します。

YuE2はAR–NAR Mixture-of-Transformersバックボーンを採用しています。自己回帰ステージがスコアとセマンティックトークンを計画し、非自己回帰ステージがflow matchingによって音響latentを生成し、専用のVAEがそれらを48 kHzステレオ音声にデコードします。プランニングAPIと合成APIは別々に公開されているため、開発者はシンボリックなプランを検査したり置き換えたりできます。

出力例

モデルカードには、オリジナル楽曲とカバー曲を網羅するフルレングスのデモが同梱されています。

カバーの例では、モデルが既存の楽曲をまったく異なるジャンルとして再解釈しており、エージェント編集のデモでは、1曲に対して9回のプランニングステップと14バージョンのレンダリングの流れを追うことができます。

実行方法

YuE2-3Bは、量子化なしで24 GBのNVIDIA GPU（Linux、Python 3.10+）上でローカルに動作します。チームはHugging Face上で7.3 GBのcheckpointとともに推論用wheelを配布しています。

python -m pip install huggingface-hub==0.36.2
hf download m-a-p/YuE2-3B yue2_infer-0.1.5-py3-none-any.whl --local-dir .
python -m pip install ./yue2_infer-0.1.5-py3-none-any.whl

このパイプラインは、Hugging Faceの読み込み、テキストガイダンス（CFG）、およびプランニングと合成の個別APIを公開しています。完全なノートブックとカバー/編集のレシピはREADMEにあります。

利用可能性

現時点ではネイティブのComfyUIサポートはありません。長年存在するコミュニティノードComfyUI_YuEはYuEシリーズをComfyUIでラップしたものですが、執筆時点ではYuE2向けに更新されていないため、今日YuE2-3Bを実行するには公式のPython推論パッケージが必要です。ホスト版のデモはプロジェクトページで利用できます。

ComfyUIネイティブサポートがyue2ブランチに登場

9月11日、ComfyUIコアはPR #16250でネイティブYuE2サポートを実装しました。執筆時点ではmasterではなく別のyue2ブランチ上にあるため、試すにはそのブランチ（コミットd87e12ad）をチェックアウトする必要があります。すぐに使えるオールインワンのcheckpoint（yue2.safetensors、7.8 GB）がComfy-OrgのHugging Faceアカウントで公開されており、テスト用ワークフローがプルリクエストに添付されています。

ネイティブブランチからの初期レンダリングは妥当な音質ですが、統合はまだ出たばかりの状態です。

• YuE2はPyTorch、Transformers、その他の共有パッケージの正確なバージョンを固定しているため、YuE2のスタンドアロン要件をインストールするとComfyUIが必要とするパッケージが上書きされる可能性があります。ネイティブブランチは複数venvの問題を回避しますが、セットアップ後に環境を確認してください。
• EmeraldApple-AI/ComfyUI-YuE2や、YuE2のwheelを分離するScryptHunterのフォークといったコミュニティノードパックも1日以内に登場しましたが、現時点では個人による実験的なプロジェクトです。
• YuE2独自のVAEは連続的な音響latentとの間で音声を変換するだけなので、YuE2向けのLoRAトレーニングはまだ実現できません。離散的なセマンティック音楽トークンとYuE2専用のトレーニングパイプラインは公開されていません。