FL YuE2:ComfyUI 中的 YuE2 钢琴卷帘音乐工作室
Fill Nodes 推出 YuE2 节点包,包含可编辑的钢琴卷帘乐谱编辑器、AR LoRA 训练以及 48 kHz 立体声渲染,全部构建在 ComfyUI 原生 YuE2 管线之上。
节点包新增内容
ComfyUI 于本月早些时候原生支持了 YuE2,覆盖歌词转歌曲生成和 ABC 乐谱条件控制。FL YuE2 在此基础上构建了一层制作能力:你可以根据歌词和风格创作歌曲,构建或导入 ABC 乐谱,并使用 YuE2-3B 渲染 48 kHz 立体声音频。这些节点可接入 ComfyUI 标准的音频预览、保存和处理节点,且该节点包复用 ComfyUI 现有的 Torch 安装,无需安装上游 YuE2 包。
节点集合小巧且线性:
- Load Models 将 YuE2-3B 模型和独立的音频解码器(首次运行时约 7.8 GB)下载到
ComfyUI/models/yue2/,支持断点续传和权重清单校验。 - Compose 接收音乐风格、带有
[Verse]/[Chorus]段落标记的歌词、规划模式和种子,输出 ABC 乐谱。 - Render Music 生成音乐 token 和声学 latent;
acoustic_steps=32对应已发布的中点求解器。 - Decode Audio 返回普通的 ComfyUI
AUDIO,并提供tile_frames选项以降低解码器内存占用。
钢琴卷帘是核心亮点
最出彩的部分是乐谱编辑器工作流:由 YuE2 ABC 支持的 MIDI 风格钢琴卷帘,包含两条单音旋律轨和一条独立和弦轨。你可以拖拽音符,将编辑器连接到 Compose 的 score_abc 输入,渲染出你绘制的精确旋律。当前范围限定为两条单音旋律和一条和弦轨;不包含 MIDI 文件导入和音频转录。
规划模式与之清晰对应:full 生成旋律和和弦,melody 让伴奏更自由,off 则完全跳过符号化乐谱。未改动的作品会通过 composition 套接字保持其精确的 token 前缀,因此在固定种子下重新渲染可复现同一次结果。提供的 ABC 乐谱会绕过乐谱生成,并保留 full 或 melody 指令,而空白歌词绝不会覆盖你的规划选择:这对于在风格字段中描述配器的纯器乐提示词很有用。
内置 AR LoRA 训练
该节点包还附带 YuE2 AR LoRA 训练器:经过审核的数据集、checkpoint 预览,以及基于同一编码器在 ComfyUI 内运行的训练循环。这实现了从风格引用到自定义音色或流派适配器的闭环,无需离开应用,这是目前其他 YuE2 集成都做不到的。
工作流
从乐谱编辑器到歌曲的示例工作流连接方式为:Piano Roll → Compose → Render Music → Decode Audio → Preview/Save,共用同一个模型加载器:
可用性
通过 ComfyUI Manager 安装 ComfyUI-FL-YuE2,或将 filliptm/ComfyUI-FL-YuE2 克隆到 ComfyUI/custom_nodes,并在 ComfyUI 环境中运行 pip install -r requirements.txt。它需要带有 Comfy Kitchen split-half RMS/RoPE 操作的当前 ComfyUI 版本,以及支持 BF16 的 NVIDIA GPU;作者已在 Windows 下的 RTX PRO 6000 Blackwell 上验证,24 GB 配置尚未测试。YuE2-3B 仍是来自 m-a-p 团队的研究许可证(CC-BY-NC-4.0)。
评论
使用 GitHub 登录后即可参与讨论。