Plenio 1.0: ComfyUIで動く無料のローカル楽曲制作スタジオ、プレイヤーを搭載

<strong>Plenio Music Production System 1.0</strong>は、ComfyUIをローカルの楽曲制作スタジオに変えます。言語モデルが歌詞を書き、YuE2またはMiniMax Music 3がそれを演奏し、Plenioがタグ、カバーアート、制作記録を付けてマスタリングとエクスポートを行います。10月16日にリリースされたバージョン1.0では、すでに制作した曲を扱うブラウザフロントエンドPlenio Playerが追加されました。

Plenio: Your idea. Your song. Your control.

54秒のPlenioスポット。実際のモデルを使い、ComfyUI内で収録されています。

すべてはComfyUI自身のノード内で動作します。クラウドサービスもAPIキーも追加のPythonパッケージも不要です。唯一のオプション要素はfaster-whisperで、ある機能が初めてそれを必要としたときに、パックがインストールを提案します。Plenioは同じ作者によるMiniMax Music Production Toolkitの後継ですが、名前を変更したものではなく、新しいノードIDを持つ新しいパッケージです。両方を並行してインストールでき、保存済みのワークフローは古いツールキットでも引き続き動作します。

このパックでできること

Plenioは音楽モデルごとに1つの経路を中心に構成されており、レンダリングを条件づけるドキュメントは常に見える形で編集可能に保たれます。

ステージ	得られるもの
ブリーフ	Song BriefとCover Briefにあらゆるジャンルのテンプレートを用意:テンポ、長さ、ボーカル、言語、キー、拍子、アレンジ、ジャンル近さ
執筆	ローカルの言語モデルがタイトル、スタイル、歌詞を書きます。Gemma 4はネイティブに動作し、Local LLMノードは`models/LLM`、LM Studio、Ollama、llama.cpp、vLLM、Janの任意のGGUFを駆動できます
チェック	Song Sheetに、音楽モデルが受け取る内容が正確に表示されます。各ドキュメントは自動、編集済み、手動のいずれかで、手動テキストが置き換えられることはありません
演奏	YuE2-3Bが譜面を歌うか、MiniMax Music 3がキャプションと歌詞からレンダリングします
仕上げ	ミキサー付きのステム、48 kHzへのリファイン、カーブ上のEQ、トゥルーピークリミッターによる-14 LUFS / -1 dBTPへのラウドネス調整
エクスポート	タグと埋め込みカバーアート付きのFLAC 24-bit、MP3 V0、WAV 32-bit float。さらにマスタリング前のテイク、ドキュメント・シード・設定・ラウドネスのリリース記録、YuE2ではPDF形式の楽譜

3つのテンプレートが主要なルートをカバーします。YuE2 · Song、YuE2 · Cover(録音が新しいバージョンになる)、MiniMax · Songです。4つ目のYuE2 · DAWは、自分でメロディとコードを作曲するためのもので、譜面エディターで描くか、MIDIキーボードから演奏入力するか、DAWからインポートします。Enhance & Masterは、すでに手元にあるファイルをCPU上で仕上げてマスタリングします。PlenioはComfyUIに同等のものがない箇所に26個の小さなノードを追加しており、前身の55個から減少しています。生成、ローダー、サンプラー、ダウンロードはすべてComfyUI自身のノードです。

1.0の新機能:Plenio Player

再生中:ステージ、音節ごとの歌詞、音楽に追従する譜面。

プレイヤーは、ComfyUIのアクションバー、Plenioメニュー項目、コマンドパレットから起動できるほか、http://127.0.0.1:8765/でpython plenio_player.pyを実行して単独でも起動できます。ComfyUIが起動している必要はありません。プレイヤーはComfyUIの出力フォルダー配下にあるリリース記録を読み込みます。

ライブラリ:タイトル、歌詞、ジャンル、ムード、ブリーフを対象に検索でき、genre:jazz、bpm:>110、key:Am、model:yue2、is:favなどのフィールドフィルター、フィルターチップ、8種類の並べ替え、グリッド表示またはリスト表示を備えます。
曲のページ:歌詞(行をクリックするとその部分を再生)、鳴っている音にカーソルが合い音楽に追従する譜面、楽譜PDF、ブリーフ、シードとタグ、ダウンロードできるすべてのファイル、この曲の他のテイク。
再生中:ステージ、カラオケモードの歌詞、譜面、ビジュアルの全画面表示。クロスフェード、マスタリング前のテイクと同期したA/B切り替え、ピッチを保ったまま0.75〜1.25倍での再生。
ビジュアル:13種類(オシロスコープ、ベクトルスコープ、ハイパースペース、万華鏡など)。スペクトラム、波形、ステレオイメージ、ビートから描画され、曲ごと、プレイリストごとに選択でき、タイマーで切り替えることもできます。
Plenio Drop:グラフィックスカード上で動作するMilkDrop風のレンダラーで、16個のプリセットと毎回新しく生成される1つを備えます。自作のプリセットは数値と小さな数式からなる短いJSONファイルで、スクリプトとして実行されるのではなくプレイヤー独自の計算機が読み込みます。保存したファイルは3秒以内に画面へ反映されます。

プレイヤー内のPlenio Drop。ビジュアルの上に歌詞が重なっています。

Live Play:再生しながら並べ替えられるパーティー用プレイリスト。ComfyUIで作った曲は、Export Releaseが書き出した瞬間に加わります。
曲を動画にする:ビジュアル、字幕またはカラオケとしての歌詞、音楽に追従する譜面、タイトルカードを含むMP4。Full HD、4K、スクエア、ショート向け縦型に対応し、毎秒30または60フレームで、ブラウザがグラフィックスカード上でエンコードします。

曲の動画の1フレーム:カラオケとしての歌詞、カーソル付きの譜面、隅のタイトル。

曲をプレイヤーとして共有:プレイヤーと選んだ曲をMP3(128、160、192 kbit/s)として格納した1つのHTMLファイル。誰でもダブルクリックするだけで、歌詞、譜面、ビジュアル付きで再生でき、インストールもサーバーもアカウントも不要です。

曲、楽譜、プレイリストを1つのHTMLファイルにまとめて送信。

聴取によってタイミングを合わせた歌詞字幕

Export Releaseは、曲の隣に歌詞を<name> (lines).srtとしても書き出します。これは1行につき1つの字幕です。さらに<name> (notes).srtは、音節または単語ごとに新しい字幕になります。タイミングは譜面から算出されるのではなく実測されます。歌詞ASRがエクスポートされた曲を聴き、その単語が最終的な歌詞と照合され、YuE2では譜面がそれに合わせて調整されます。譜面と聴取結果が食い違う場合は、聴取結果が優先されます。48曲のYuE2楽曲で強制アライナーと比較測定したところ、単語の半数が0.16秒以内、82パーセントが0.5秒以内に収まり、Whisper自身のタイミングでは66パーセントでした。インストゥルメンタルには字幕が付きません。オフラインのマシンでもエクスポートは可能で、タイミングが得られない理由が注記されます。

はじめに

### ノードをインストールする ComfyUI ManagerでPlenio Music Production Systemを検索するか、コマンドラインからcomfyui-plenio-musicをインストールします。PlenioはPythonパッケージをインストールしません。

マシンを確認する

テンプレートブラウザーから0 · System Checkを開いて実行します。ComfyUIバージョン、GPU、各テンプレートにまだ必要なモデルファイルが報告されます。

モデルをダウンロードする

曲のテンプレートの1つを開き、ComfyUIの不足しているモデルのダイアログでファイルを取得します。音楽用にYuE2-3BまたはMiniMax Music 3、歌詞用にローカルLLMを用意します。モデルの一覧はユーザーガイドにあります。

曲を書く

ブリーフを入力し、ライターステージを実行し、Song Sheetを確認してからレンダリングします。すべての曲テンプレートはPlenio · Masterで終わり、Plenio Playerが読み込むリリース記録を書き出します。

入手方法

ノード: jplenio/Plenio-Music-Production-System · ComfyUI Registry comfyui-plenio-music
リリース: v1.0.0
デモギャラリー: jplenio.github.io/Plenio-Music-Production-System
ドキュメント: ユーザーガイド
音楽モデル: YuE2-3B · MiniMax Music 3