Plenio 1.0:ComfyUI 里的免费本地歌曲工作室
Plenio 1.0 把 ComfyUI 变成免费的本地歌曲工作室:语言模型写歌词,YuE2 或 MiniMax Music 3 演唱,全新的浏览器播放器负责播放与分享。
这段 54 秒的 Plenio 宣传片,完全在 ComfyUI 中用真实模型录制。
一切都运行在 ComfyUI 自身的节点里:不依赖云服务,不需要 API 密钥,也不安装额外的 Python 包。唯一可选的组件是 faster-whisper,当某个功能首次需要它时,插件包会提示安装。Plenio 是同一作者的 MiniMax 音乐制作工具包 的继任者,它是一个拥有全新节点 ID 的新包,而不是简单重命名:两者可以并存安装,已保存的工作流依然能与旧工具包正常配合。
这个插件包能做什么
Plenio 为每种音乐模型各搭建一条路径,并让那些决定渲染结果的文档始终可见、可编辑:
| 阶段 | 提供的内容 |
|---|---|
| 简报 | Song Brief 与 Cover Brief,附带覆盖所有流派的模板:速度、时长、人声、语言、调性、节拍、编曲、流派贴合度 |
| 作词 | 由本地语言模型撰写标题、风格与歌词。Gemma 4 可原生运行,也可以用 Local LLM 节点驱动来自 models/LLM、LM Studio、Ollama、llama.cpp、vLLM 或 Jan 的任意 GGUF 模型 |
| 检查 | Song Sheet 精确展示音乐模型将会收到什么。每份文档都会标记为自动、已编辑或手动,手动输入的文本永远不会被替换 |
| 演唱 | 由 YuE2-3B 演唱乐谱,或由 MiniMax Music 3 根据 caption 和歌词渲染 |
| 润色 | 带混音器的分轨、精修至 48 kHz、按曲线进行 EQ,并通过真峰值限制器把响度做到 -14 LUFS / -1 dBTP |
| 导出 | 带标签与内嵌封面图的 24 位 FLAC、MP3 V0 或 32 位浮点 WAV,外加未做母带处理的版本,一份包含文档、种子、设置与响度的发行记录,YuE2 还能导出 PDF 乐谱 |
三个模板覆盖了主要路线:YuE2 · Song、YuE2 · Cover(让一段录音变成新版本)以及 MiniMax · Song。第四个模板 YuE2 · DAW 用于自己谱写旋律与和弦:可以在乐谱编辑器中绘制,用 MIDI 键盘弹奏录入,或从 DAW 导入。Enhance & Master 则是在 CPU 上为你已有的文件完成收尾与母带处理。Plenio 只在 ComfyUI 没有对应功能的地方新增了 26 个小节点,比前作的 55 个大幅减少;生成、加载器、采样器和下载自始至终都使用 ComfyUI 自带的节点。
1.0 版新增内容:Plenio Player
播放中:舞台、逐音节的歌词,以及跟随音乐滚动的乐谱。
播放器可以从 ComfyUI 的操作栏、Plenio 菜单项或命令面板打开,也可以在 http://127.0.0.1:8765/ 处用 python plenio_player.py 单独启动。ComfyUI 不必处于运行状态:播放器会读取 ComfyUI 输出文件夹下的发行记录。
- Library(音乐库):可按标题、歌词、流派、情绪和简报搜索,支持
genre:jazz、bpm:>110、key:Am、model:yue2或is:fav等字段筛选器,还有筛选标签、八种排序方式、网格或列表视图。 - A song's page(歌曲页面):歌词(点击某一行即可试听)、跟随音乐滚动且光标落在正在发声音符上的乐谱、乐谱 PDF、简报、种子与标签、所有可下载的文件,以及这首歌的其他演绎版本。
- Now playing(播放中):Stage、卡拉 OK 模式的歌词、Notation 与 Visual 全屏,支持交叉淡入淡出、与未母带版本同步进行的 A/B 切换,以及 0.75 到 1.25 倍速保持音高的播放。
- Visuals(可视化):共 13 种(示波器、矢量示波器、超空间、万花筒等),素材取自频谱、波形、立体声声像和节拍,可按歌曲、按播放列表选择,也可定时轮播。
- Plenio Drop:运行在显卡上的 MilkDrop 风格渲染器,内置 16 个预设,外加每次现场生成的一个。自定义预设是只包含数字和小公式的简短 JSON 文件,由播放器自带的计算器读取,而不是当作脚本执行;保存后文件会在三秒内反映到屏幕上。
播放器中的 Plenio Drop,歌词叠在可视化画面上。
- Live Play:一个用于派对的播放列表,可以在播放过程中随时重新排序;你在 ComfyUI 中创作的歌曲只要 Export Release 一写出,就会立刻加入其中。
- 把歌曲变成视频:一个 MP4,包含可视化画面、作为字幕或卡拉 OK 的歌词、跟随音乐的乐谱和标题卡,支持 Full HD、4K、方形或适合短视频的竖版,可选 30 或 60 帧每秒,由浏览器在显卡上编码。
歌曲视频的一帧:卡拉 OK 歌词、带光标的乐谱,以及角落里的标题。
- 把歌曲作为播放器分享:一个 HTML 文件,内含播放器和你挑选的歌曲(MP3,128、160 或 192 kbit/s)。任何人双击即可收听,带歌词、乐谱和可视化,无需安装、服务器或账号。
把歌曲、乐谱和播放列表打包成一个 HTML 文件发送出去。
靠"听"来对时的歌词字幕
Export Release 还会在歌曲旁边写出歌词文件:<name> (lines).srt,每行一条字幕;以及 <name> (notes).srt,每个音节或单词都生成一条新字幕。时间点是实测出来的,而不是从乐谱推导得来:歌词 ASR 会聆听导出的歌曲,把识别出的词与最终歌词匹配,YuE2 情况下再把乐谱对齐到这些词,当乐谱与听感相冲突时以听感为准。在 48 首 YuE2 歌曲上与强制对齐器对比,一半的词落在 0.16 秒以内,82% 落在半秒以内,而 Whisper 自带时间戳的这一比例只有 66%。纯器乐不会生成字幕;离线机器同样可以导出,只会附上一条说明,解释为何缺少时间信息。
入门
comfyui-plenio-music。Plenio 不会安装任何 Python 包。
检查机器
从模板浏览器中打开 0 · System Check 并运行:它会报告 ComfyUI 版本、GPU,以及每个模板还缺失哪些模型文件。
下载模型
打开任意一个歌曲模板,让 ComfyUI 的缺失模型对话框自动获取文件:音乐部分需要 YuE2-3B 或 MiniMax Music 3,歌词部分还需要一个本地 LLM。模型清单见用户指南。
创作一首歌
填写简报,运行写作阶段,检查 Song Sheet,然后渲染。每个歌曲模板都以 Plenio · Master 结尾,并写出 Plenio Player 读取的发行记录。
获取方式
节点: jplenio/Plenio-Music-Production-System · ComfyUI Registry comfyui-plenio-music
发布: v1.0.0
演示图库: jplenio.github.io/Plenio-Music-Production-System
文档: 用户指南
音乐模型: YuE2-3B · MiniMax Music 3
评论
使用 GitHub 登录后即可参与讨论。