Plenio 1.5: 自作の歌詞をそのまま歌唱、テンプレートの可視化、クリエイティビティを200まで
ComfyUI向けのPlenio 1.5は、自分で書いた歌詞をそのまま歌い、スタイルテンプレートの値をSong Briefに書き込み、クリエイティビティを200まで引き上げます。
Plenioは1.0の形状をそのまま保っています。ブリーフ、タイトル・スタイル・歌詞を書くローカル言語モデル、音楽モデルが受け取る内容を正確に示すSong Sheet、それを演奏するYuE2-3BまたはMiniMax Music 3、そしてマスタリングと、タグ付きファイル・タイミング付き歌詞・楽譜を伴うリリースです。1.5で変わったのは、この道筋のどこまでを自分の手で握れるかという点です。
1.5の新機能
| 変更点 | 内容 |
|---|---|
| 自分の歌詞 | Song Briefのmy own, sung as written: ライターはスタイル、カバーアートのプロンプト、タイトルだけを埋めます |
| 見えるテンプレート | 250個のスタイルテンプレートが、テンプレート値のリストであるブリーフのフィールドに値を書き込むようになりました |
| クリエイティビティを200まで | 100がデフォルトになり、101〜150が実験的、151〜200が冒険的 |
| より自由なカバー | original notesスライダーが、新しく何かを書き加えることなくソースの楽器パートとコードを間引きます |
| 独自のセクションタグ | YuE2が学習した8つのセクションをボタンとして、Plenioがプランに合わせる8つ、さらに自分で考案したタグ |
| 思考モデルのための余裕 | すべてのLLMの回答は16,384トークン、コンテキストは24,576トークンまで可能 |
自分で書いた歌詞を、そのまま歌う
歌詞の選択肢を「my own, sung as written below」にし、ヴァースとサビを入力したSong Brief。
歌を生成するSong Briefには、デフォルトのwritten from the idea belowと、my own, sung as written belowという2つの選択肢ができました。2つ目のモードでは、ライターはタイトル、スタイル、カバーアートのプロンプトだけを書き、言葉はセクションタグも含めて入力されたまま残ります。タグがない場合、行のまとまりがそれぞれヴァースになり、繰り返し現れるまとまりがサビになり、タイトルはジャンルではなく歌詞から取られます。同じ選択肢はPlenio PlayerのMake a songフォームにもあるので、スマートフォンからのゲストも歌詞を貼り付けられます。
ブリーフを埋めるテンプレート
ジャンルフィールドを開いたところ。先頭で自分で入力でき、その下に250個のテンプレートが知るすべてのジャンルが並びます。
以前はテンプレートを選ぶとテキストのブロックがコピーされていました。1.5ではテンプレートがその値をブリーフに書き込みます。説明、ジャンル、ムード、テンポ、キー、拍子、言語、声、テーマ、歌詞のアイデア、リード楽器に加え、ボーカル、長さ、メロディです。2つ目のテンプレートはテンプレートが設定した部分だけを置き換え、自分で変更した部分はそのまま残します。空にしたフィールドにはテンプレートの値が再び入ります。各フィールドはすべてのテンプレートが知る値のリストになり、先頭の**✎ type your own**からそれ以外の値も入力できます。テンプレートの説明は曲がどう響くかを示し、新しいlyricsフィールドは曲が何について歌うかを示します。
それまでなかったシーンやジャンルのために11個のテンプレートが追加されました。英語とドイツ語のバースデーソング、パーティー・シュラーガー、ドイツのカーニバルソング、結婚式のファーストダンス、リーダーマッハー・ソング、ポップロック、メロディック・トラップ、ラテンポップ、J-ロック、イタリアンポップで、合計250個になりました。
クリエイティビティは200まで
クリエイティビティのデフォルトは100になりました。作者が最も良い曲を生んだという実験的な設定で、100までのすべての値は以前と同じ意味を持ちます。そのため、保存済みの1.4のワークフローで50なら、書き込みもサンプリングも50のままです。それを超えると、101〜150はより自由なサンプリングで実験的なまま、151〜200は冒険的と呼ばれ、別ジャンルの明確なタッチ、シグネチャー楽器、あるいは歌詞の意外な展開を伴う新鮮なブレンドになります。200ではYuE2のサンプリングがplan 1.0 / 0.96 / 64、take 1.15 / 0.98 / 200まで押し上げられ、changelogではこれが一貫性を保つと報告されている限界だとされています。
より自由なカバー
Cover Briefにoriginal notes(0〜100、デフォルトは100)が追加されました。スコアがソースの音符をどれだけ保持するかを指定します。値を下げると、楽器パートとコードの音符が段階的に省かれ、0ではおよそ4分の1まで減りますが、強拍の音符と各セクションの最初のコードは残ります。新しいものは何も書かれないため、カバーは与えられていないマテリアルを作り出すことはできません。歌付きカバーのメロディはすべての音符を保持するので、歌詞は歌われ続けます。プロジェクトの計測では、0で78パーセント、100で83パーセントの歌詞が聞き取れました。サマリーには保持された音符の数が表示されます。
自分で定義できるセクションタグ
歌詞エディタのボタンは、YuE2が学習した8つのセクションになりました: [Intro]、[Verse]、[Pre-Chorus]、[Chorus]、[Bridge]、[Interlude]、[Instrumental]、[Outro]。moreボタンを押すと、PlenioがYuE2のプランに合わせるタグ([Post-Chorus]、[Hook]、[Refrain]、[Solo]、[Break]、[Breakdown]、[Drop]、[Build])が追加され、+ your tagでは[Violin Rise]や[Choir]のような独自のタグを以後すべての曲で保持できます。歌詞がある場合、カスタムタグはそのセクションで歌われ、歌詞がない場合はインストゥルメンタルパートになります。スコアのセクション名にない文字を含むタグでも実行が止まらなくなり、これはchangelogで修正として挙げられています。
思考モデルのためのより多くの余裕
すべてのLLMの回答は16,384トークン、コンテキストは24,576トークンまで可能になりました。ライターのドラフト、アレンジ、聞き間違いチェックでは6,144、2,048、1,024から引き上げられ、ComfyUIのネイティブテキスト生成とLocal LLMノードの両方に適用されます。これにより思考モデルが回答の前に推論する余裕が生まれますが、その代わりにより大きなコンテキストが必要です。LM Studioのモデルは最低24,576が必要になりました。保存済みのワークフローは開いたときに新しい長さを引き継ぎ、Song API 1.3は新しいフィールドlyrics_from、lyrics、original_notes、そして200までのcreativityを公開します。古いAPIプロンプトは変更なく動作します。
Plenio 1.5の入手
comfy node install comfyui-plenio-musicを実行します。このパックはComfyUI 0.37.0以降が必要で、独自のPythonパッケージは追加しません。
マシンを確認する
テンプレートブラウザから0 · System Checkを開きます。ComfyUIバージョン、GPU、各テンプレートがまだ必要とするモデルファイルが報告されます。
ルートを選ぶ
ブリーフから歌付きの曲を作るならYuE2 · Song、録音を作り直すならYuE2 · Cover、キャプション駆動のレンダリングならMiniMax · Song、メロディを自分で書くならYuE2 · DAWです。
コメント
GitHubでサインインしてディスカッションに参加しましょう。