Plenio 1.0: un estudio de canciones local para ComfyUI

ComfyUI Wikinews

Plenio 1.0 convierte ComfyUI en un estudio de canciones local: un modelo de lenguaje escribe la letra, YuE2 o MiniMax Music 3 la interpretan y un reproductor nuevo las comparte.

<strong>Plenio Music Production System 1.0</strong> convierte ComfyUI en un estudio de canciones local: un modelo de lenguaje escribe la letra, YuE2 o MiniMax Music 3 la interpretan, y Plenio masteriza y exporta el resultado con sus etiquetas, portada y registro de producción. La versión 1.0, publicada el 16 de octubre, añade Plenio Player, una interfaz de navegador para las canciones que ya has creado.
Plenio Music Production System para ComfyUI
Plenio: tu idea. Tu canción. Tu control.

El spot de Plenio de 54 segundos, grabado en ComfyUI con los modelos reales.

Todo se ejecuta dentro de los propios nodos de ComfyUI: sin servicio en la nube, sin clave API y sin paquetes de Python adicionales. La única pieza opcional es faster-whisper, que el paquete ofrece instalar la primera vez que una función la necesita. Plenio es el sucesor del MiniMax Music Production Toolkit del mismo autor, y es un paquete nuevo con nuevos IDs de nodo en lugar de un renombrado: ambos pueden instalarse en paralelo, y los flujos de trabajo guardados siguen funcionando con el toolkit antiguo.

Qué hace el paquete

Plenio se organiza en torno a una ruta por cada modelo de música, con los documentos que condicionan el render siempre visibles y editables:

EtapaQué te ofrece
BriefSong Brief y Cover Brief con plantillas para todos los géneros: tempo, duración, voces, idioma, tonalidad, compás, arreglo, cercanía al género
WriteUn modelo de lenguaje local escribe el título, el estilo y la letra. Gemma 4 se ejecuta de forma nativa, o el nodo Local LLM controla cualquier GGUF desde models/LLM, LM Studio, Ollama, llama.cpp, vLLM o Jan
CheckEl Song Sheet muestra exactamente lo que recibirá el modelo de música. Cada documento es automático, editado o manual, y el texto manual nunca se reemplaza
PerformYuE2-3B canta la partitura, o MiniMax Music 3 renderiza a partir del caption y la letra
PolishStems con un mezclador, refinado a 48 kHz, un EQ sobre la curva, sonoridad a -14 LUFS / -1 dBTP con un limitador de pico real
ExportFLAC de 24 bits, MP3 V0 o WAV de 32 bits float con etiquetas y portada incrustada, además de la toma sin masterizar, un registro de publicación con documentos, semillas, ajustes y sonoridad, y para YuE2 la partitura como PDF

Tres plantillas cubren las rutas principales: YuE2 · Song, YuE2 · Cover (una grabación se convierte en una nueva versión) y MiniMax · Song. Una cuarta, YuE2 · DAW, sirve para componer tú mismo la melodía y los acordes, ya sea dibujándolos en el editor de partituras, tocándolos desde un teclado MIDI o importándolos desde un DAW. Enhance & Master finaliza y masteriza un archivo que ya tengas, en CPU. Plenio añade 26 nodos pequeños donde ComfyUI no tiene nada equivalente, frente a los 55 del predecesor, y la generación, los cargadores, los muestreadores y las descargas son nodos propios de ComfyUI en todo momento.

Novedades de la 1.0: el Plenio Player

La vista Reproduciendo del Plenio Player

Reproduciendo: el escenario, la letra sílaba a sílaba y la notación siguiendo la música.

El reproductor se abre desde la barra de acciones de ComfyUI, una entrada del menú Plenio o la paleta de comandos, o de forma independiente con python plenio_player.py en http://127.0.0.1:8765/. ComfyUI no tiene que estar en ejecución: el reproductor lee los registros de publicación dentro de la carpeta de salida de ComfyUI.

  • Library: búsqueda por títulos, letras, géneros, estados de ánimo y briefs con filtros de campo como genre:jazz, bpm:>110, key:Am, model:yue2 o is:fav, chips de filtro, ocho ordenaciones, cuadrícula o lista.
  • La página de una canción: la letra (haz clic en una línea para oírla), la notación siguiendo la música con el cursor en las notas que suenan, la partitura en PDF, el brief, las semillas y las etiquetas, todos los archivos para descargar y las demás tomas de la canción.
  • Reproduciendo: Stage, Lyrics en modo karaoke, Notation y Visual a pantalla completa, con fundidos cruzados, un conmutador A/B contra la toma sin masterizar sincronizada, y reproducción a 0.75 a 1.25 veces manteniendo el tono.
  • Visuals: 13 en total (osciloscopio, vectorscopio, hiperespacio, caleidoscopio y más), dibujados a partir del espectro, la forma de onda, la imagen estéreo y los ritmos, elegidos por canción, por lista de reproducción o rotando con un temporizador.
  • Plenio Drop: un renderizador estilo MilkDrop en la tarjeta gráfica con 16 preajustes y uno creado desde cero cada vez. Tus propios preajustes son archivos JSON cortos de números y pequeñas fórmulas, leídos por la propia calculadora del reproductor en lugar de ejecutarse como script, y un archivo guardado cambia en pantalla en menos de tres segundos.
Visuales de Plenio Drop con la letra encima

Plenio Drop en el reproductor, con la letra sobre el visual.

  • Live Play: una lista de reproducción para una fiesta que reordenas mientras suena, y las canciones que creas en ComfyUI se unen en el momento en que Export Release las escribe.
  • Una canción como vídeo: un MP4 con el visual, la letra como subtítulos o karaoke, la notación siguiendo la música y una tarjeta de título, en Full HD, 4K, cuadrado o vertical para shorts, a 30 o 60 fotogramas por segundo, codificado por el navegador en la tarjeta gráfica.
Un fotograma de un vídeo de canción exportado

Un fotograma del vídeo de una canción: la letra como karaoke, la notación con su cursor y el título en la esquina.

  • Comparte tus canciones como reproductor: un único archivo HTML que contiene el reproductor y las canciones que elijas en MP3, a 128, 160 o 192 kbit/s. Cualquiera puede hacer doble clic en él y escuchar, con letra, notación y visuales, y sin instalación, servidor ni cuenta.
Compartir canciones como un único archivo HTML de reproductor

Empaquetando canciones, partituras y listas de reproducción en un único archivo HTML para enviar.

Subtítulos de la letra sincronizados escuchando

Export Release también escribe la letra junto a la canción como <name> (lines).srt, un subtítulo por línea, y <name> (notes).srt, un subtítulo nuevo en cada sílaba o palabra. Los tiempos se miden en lugar de derivarse de la partitura: el ASR de la letra escucha la canción exportada, sus palabras se emparejan con la letra final y, para YuE2, la partitura se ajusta a ellas, ganando el oído donde la partitura y el oído no coinciden. Medido frente a un alineador forzado en 48 canciones de YuE2, la mitad de las palabras caen dentro de 0.16 segundos y el 82 por ciento dentro de medio segundo, frente al 66 por ciento de los tiempos propios de Whisper. Los instrumentales no reciben subtítulos, y una máquina sin conexión sigue exportando, con una nota que explica por qué falta la sincronización.

Primeros pasos

### Instala los nodos Busca Plenio Music Production System en el Administrador de ComfyUI, o instala comfyui-plenio-music desde la línea de comandos. Plenio no instala ningún paquete de Python.

Comprueba la máquina

Abre 0 · System Check desde el explorador de plantillas y ejecútalo: informa de la versión de ComfyUI, la GPU y qué archivos de modelo necesita todavía cada plantilla.

Descarga los modelos

Abre una de las plantillas de canción y deja que el diálogo de modelos faltantes de ComfyUI descargue los archivos: YuE2-3B o MiniMax Music 3 para la música, además de un LLM local para la letra. Las listas de modelos están en la guía de usuario.

Escribe una canción

Rellena el brief, ejecuta la etapa de escritura, revisa el Song Sheet y luego renderiza. Todas las plantillas de canción terminan en Plenio · Master y escriben el registro de publicación que lee el Plenio Player.

Disponibilidad

Nodos: jplenio/Plenio-Music-Production-System · Registro de ComfyUI comfyui-plenio-music
Versión: v1.0.0
Galería de demostración: jplenio.github.io/Plenio-Music-Production-System
Documentación: guía de usuario
Modelos de música: YuE2-3B · MiniMax Music 3

Comentarios

Inicia sesión con GitHub para unirte a la conversación.

Cargando comentarios…
Plenio 1.0: un estudio de canciones local para ComfyUI | ComfyUI Wiki