ComfyUIで直接YuE2 LoRAをトレーニングする方法

何をどのようにトレーニングするのか

YuE2-3Bはスタイルプロンプトと歌詞から完全な楽曲を生成します。内部的には3つの部分で構成されており、楽曲を計画してセマンティックトークンを書き出す2.2BのAR言語モデル、64チャンネルのVAE latentをサウンドとしてレンダリングする1.5BのNARフローマッチング分岐、そして48 kHzステレオVAEです。このトレーナーはARの「コンポーザー」分岐を凍結し（m-a-pはaudio-to-tokenエンコーダーやそのトレーニングコードを公開していません）、公開されているフローマッチングの目的関数を用いてNAR分岐のみにLoRAアダプターをトレーニングします。

そのため、得られるのはボイスクローンではなく、スタイル、楽器編成、歌唱の音色のLoRAです。トレーニングはキャプション不要で、音声ファイルは一度VAE latentにエンコードされてディスクにキャッシュされ、トリガーワードはYuE2のチェックポイントネイティブなテキストプレフィックス（[Tags] your_trigger_word, caption ...）を通じて注入されます。より細かく制御したい場合は、ファイルごとに同名の.txtキャプションを任意で使用できます。

保存されるLoRAはネイティブComfyUI形式のスタンダードな*.safetensorsで、models/loras/に配置し、ネイティブYuE2チェックポイントに対して標準のLoraLoaderModelOnlyノードで読み込みます。変換ステップは不要です。

要件

• シングルファイルのネイティブYuE2チェックポイント：Comfy-Org/YuE2にあるyue2_3b_bf16.safetensors（約7.8 GB）。ネイティブの生成ノードが使用するのと同じファイルです。bf16ファイルを使用してください。INT8リパックはトレーニングできません。
• 24 GB VRAM推奨（RTX 5090 Laptop 24 GBでテスト済み）。
• このノードパックはスタンドアロンです。公式のYuE2モデルコード（m-a-pのyue2_infer、Apache-2.0、改変なし）が同梱されているため、他のカスタムノードは必要ありません。

作者の設定と初期フィードバック

作者推奨のレシピは5000ステップ、weight 2.0で、LoRAはconvrot版よりもFP16モデルのほうがうまく機能します。コミュニティからの初期フィードバックは賛否両論です。最初の問題では、トレーニングしたLoRAに聴感上の効果がないと報告されており、ボイスクローンは動作しないものとして明示的に挙げられています。そのため、これは現在もオープンに調整が進められている実験的なツールとして扱ってください。このプロジェクトにはすでに、より広いトレーニング範囲を探るフォークが存在し、その中には音響モデルとプランナーCLIPの両方をトレーニングするものもあります。

入手方法

このトレーナーはGitHubのStarnodes2024/ComfyUI-YuE2-Trainerで無料公開されています（執筆時点でスター51）。ComfyUI-Managerからインストールするか、custom_nodesにgit cloneしてください。