Plenio 1.0:ComfyUI 里的免费本地歌曲工作室

ComfyUI Wikinews

Plenio 1.0 把 ComfyUI 变成免费的本地歌曲工作室:语言模型写歌词,YuE2 或 MiniMax Music 3 演唱,全新的浏览器播放器负责播放与分享。

<strong>Plenio 音乐制作系统 1.0</strong> 把 ComfyUI 变成一座本地歌曲工作室:语言模型编写歌词,YuE2 或 MiniMax Music 3 负责演唱,再由 Plenio 完成母带处理并导出成品,附带标签、封面图和制作记录。10 月 16 日发布的 1.0 版本新增了 Plenio Player,这是用于播放你已创作歌曲的浏览器前端。
Plenio Music Production System for ComfyUI
Plenio: Your idea. Your song. Your control.

这段 54 秒的 Plenio 宣传片,完全在 ComfyUI 中用真实模型录制。

一切都运行在 ComfyUI 自身的节点里:不依赖云服务,不需要 API 密钥,也不安装额外的 Python 包。唯一可选的组件是 faster-whisper,当某个功能首次需要它时,插件包会提示安装。Plenio 是同一作者的 MiniMax 音乐制作工具包 的继任者,它是一个拥有全新节点 ID 的新包,而不是简单重命名:两者可以并存安装,已保存的工作流依然能与旧工具包正常配合。

这个插件包能做什么

Plenio 为每种音乐模型各搭建一条路径,并让那些决定渲染结果的文档始终可见、可编辑:

阶段提供的内容
简报Song Brief 与 Cover Brief,附带覆盖所有流派的模板:速度、时长、人声、语言、调性、节拍、编曲、流派贴合度
作词由本地语言模型撰写标题、风格与歌词。Gemma 4 可原生运行,也可以用 Local LLM 节点驱动来自 models/LLM、LM Studio、Ollama、llama.cpp、vLLM 或 Jan 的任意 GGUF 模型
检查Song Sheet 精确展示音乐模型将会收到什么。每份文档都会标记为自动、已编辑或手动,手动输入的文本永远不会被替换
演唱由 YuE2-3B 演唱乐谱,或由 MiniMax Music 3 根据 caption 和歌词渲染
润色带混音器的分轨、精修至 48 kHz、按曲线进行 EQ,并通过真峰值限制器把响度做到 -14 LUFS / -1 dBTP
导出带标签与内嵌封面图的 24 位 FLAC、MP3 V0 或 32 位浮点 WAV,外加未做母带处理的版本,一份包含文档、种子、设置与响度的发行记录,YuE2 还能导出 PDF 乐谱

三个模板覆盖了主要路线:YuE2 · Song、YuE2 · Cover(让一段录音变成新版本)以及 MiniMax · Song。第四个模板 YuE2 · DAW 用于自己谱写旋律与和弦:可以在乐谱编辑器中绘制,用 MIDI 键盘弹奏录入,或从 DAW 导入。Enhance & Master 则是在 CPU 上为你已有的文件完成收尾与母带处理。Plenio 只在 ComfyUI 没有对应功能的地方新增了 26 个小节点,比前作的 55 个大幅减少;生成、加载器、采样器和下载自始至终都使用 ComfyUI 自带的节点。

1.0 版新增内容:Plenio Player

The Plenio Player's Now playing view

播放中:舞台、逐音节的歌词,以及跟随音乐滚动的乐谱。

播放器可以从 ComfyUI 的操作栏、Plenio 菜单项或命令面板打开,也可以在 http://127.0.0.1:8765/ 处用 python plenio_player.py 单独启动。ComfyUI 不必处于运行状态:播放器会读取 ComfyUI 输出文件夹下的发行记录。

  • Library(音乐库):可按标题、歌词、流派、情绪和简报搜索,支持 genre:jazz、bpm:>110、key:Am、model:yue2 或 is:fav 等字段筛选器,还有筛选标签、八种排序方式、网格或列表视图。
  • A song's page(歌曲页面):歌词(点击某一行即可试听)、跟随音乐滚动且光标落在正在发声音符上的乐谱、乐谱 PDF、简报、种子与标签、所有可下载的文件,以及这首歌的其他演绎版本。
  • Now playing(播放中):Stage、卡拉 OK 模式的歌词、Notation 与 Visual 全屏,支持交叉淡入淡出、与未母带版本同步进行的 A/B 切换,以及 0.75 到 1.25 倍速保持音高的播放。
  • Visuals(可视化):共 13 种(示波器、矢量示波器、超空间、万花筒等),素材取自频谱、波形、立体声声像和节拍,可按歌曲、按播放列表选择,也可定时轮播。
  • Plenio Drop:运行在显卡上的 MilkDrop 风格渲染器,内置 16 个预设,外加每次现场生成的一个。自定义预设是只包含数字和小公式的简短 JSON 文件,由播放器自带的计算器读取,而不是当作脚本执行;保存后文件会在三秒内反映到屏幕上。
Plenio Drop visuals with the lyrics over them

播放器中的 Plenio Drop,歌词叠在可视化画面上。

  • Live Play:一个用于派对的播放列表,可以在播放过程中随时重新排序;你在 ComfyUI 中创作的歌曲只要 Export Release 一写出,就会立刻加入其中。
  • 把歌曲变成视频:一个 MP4,包含可视化画面、作为字幕或卡拉 OK 的歌词、跟随音乐的乐谱和标题卡,支持 Full HD、4K、方形或适合短视频的竖版,可选 30 或 60 帧每秒,由浏览器在显卡上编码。
A frame of an exported song video

歌曲视频的一帧:卡拉 OK 歌词、带光标的乐谱,以及角落里的标题。

  • 把歌曲作为播放器分享:一个 HTML 文件,内含播放器和你挑选的歌曲(MP3,128、160 或 192 kbit/s)。任何人双击即可收听,带歌词、乐谱和可视化,无需安装、服务器或账号。
Sharing songs as a single HTML player file

把歌曲、乐谱和播放列表打包成一个 HTML 文件发送出去。

靠"听"来对时的歌词字幕

Export Release 还会在歌曲旁边写出歌词文件:<name> (lines).srt,每行一条字幕;以及 <name> (notes).srt,每个音节或单词都生成一条新字幕。时间点是实测出来的,而不是从乐谱推导得来:歌词 ASR 会聆听导出的歌曲,把识别出的词与最终歌词匹配,YuE2 情况下再把乐谱对齐到这些词,当乐谱与听感相冲突时以听感为准。在 48 首 YuE2 歌曲上与强制对齐器对比,一半的词落在 0.16 秒以内,82% 落在半秒以内,而 Whisper 自带时间戳的这一比例只有 66%。纯器乐不会生成字幕;离线机器同样可以导出,只会附上一条说明,解释为何缺少时间信息。

入门

### 安装节点 在 ComfyUI 管理器中搜索 Plenio Music Production System,或从命令行安装 comfyui-plenio-music。Plenio 不会安装任何 Python 包。

检查机器

从模板浏览器中打开 0 · System Check 并运行:它会报告 ComfyUI 版本、GPU,以及每个模板还缺失哪些模型文件。

下载模型

打开任意一个歌曲模板,让 ComfyUI 的缺失模型对话框自动获取文件:音乐部分需要 YuE2-3B 或 MiniMax Music 3,歌词部分还需要一个本地 LLM。模型清单见用户指南。

创作一首歌

填写简报,运行写作阶段,检查 Song Sheet,然后渲染。每个歌曲模板都以 Plenio · Master 结尾,并写出 Plenio Player 读取的发行记录。

获取方式

节点: jplenio/Plenio-Music-Production-System · ComfyUI Registry comfyui-plenio-music
发布: v1.0.0
演示图库: jplenio.github.io/Plenio-Music-Production-System
文档: 用户指南
音乐模型: YuE2-3B · MiniMax Music 3

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
Plenio 1.0:ComfyUI 里的免费本地歌曲工作室 | ComfyUI Wiki