Plenio 1.0: un estudio de canciones local para ComfyUI
Plenio 1.0 convierte ComfyUI en un estudio de canciones local: un modelo de lenguaje escribe la letra, YuE2 o MiniMax Music 3 la interpretan y un reproductor nuevo las comparte.
El spot de Plenio de 54 segundos, grabado en ComfyUI con los modelos reales.
Todo se ejecuta dentro de los propios nodos de ComfyUI: sin servicio en la nube, sin clave API y sin paquetes de Python adicionales. La única pieza opcional es faster-whisper, que el paquete ofrece instalar la primera vez que una función la necesita. Plenio es el sucesor del MiniMax Music Production Toolkit del mismo autor, y es un paquete nuevo con nuevos IDs de nodo en lugar de un renombrado: ambos pueden instalarse en paralelo, y los flujos de trabajo guardados siguen funcionando con el toolkit antiguo.
Qué hace el paquete
Plenio se organiza en torno a una ruta por cada modelo de música, con los documentos que condicionan el render siempre visibles y editables:
| Etapa | Qué te ofrece |
|---|---|
| Brief | Song Brief y Cover Brief con plantillas para todos los géneros: tempo, duración, voces, idioma, tonalidad, compás, arreglo, cercanía al género |
| Write | Un modelo de lenguaje local escribe el título, el estilo y la letra. Gemma 4 se ejecuta de forma nativa, o el nodo Local LLM controla cualquier GGUF desde models/LLM, LM Studio, Ollama, llama.cpp, vLLM o Jan |
| Check | El Song Sheet muestra exactamente lo que recibirá el modelo de música. Cada documento es automático, editado o manual, y el texto manual nunca se reemplaza |
| Perform | YuE2-3B canta la partitura, o MiniMax Music 3 renderiza a partir del caption y la letra |
| Polish | Stems con un mezclador, refinado a 48 kHz, un EQ sobre la curva, sonoridad a -14 LUFS / -1 dBTP con un limitador de pico real |
| Export | FLAC de 24 bits, MP3 V0 o WAV de 32 bits float con etiquetas y portada incrustada, además de la toma sin masterizar, un registro de publicación con documentos, semillas, ajustes y sonoridad, y para YuE2 la partitura como PDF |
Tres plantillas cubren las rutas principales: YuE2 · Song, YuE2 · Cover (una grabación se convierte en una nueva versión) y MiniMax · Song. Una cuarta, YuE2 · DAW, sirve para componer tú mismo la melodía y los acordes, ya sea dibujándolos en el editor de partituras, tocándolos desde un teclado MIDI o importándolos desde un DAW. Enhance & Master finaliza y masteriza un archivo que ya tengas, en CPU. Plenio añade 26 nodos pequeños donde ComfyUI no tiene nada equivalente, frente a los 55 del predecesor, y la generación, los cargadores, los muestreadores y las descargas son nodos propios de ComfyUI en todo momento.
Novedades de la 1.0: el Plenio Player
Reproduciendo: el escenario, la letra sílaba a sílaba y la notación siguiendo la música.
El reproductor se abre desde la barra de acciones de ComfyUI, una entrada del menú Plenio o la paleta de comandos, o de forma independiente con python plenio_player.py en http://127.0.0.1:8765/. ComfyUI no tiene que estar en ejecución: el reproductor lee los registros de publicación dentro de la carpeta de salida de ComfyUI.
- Library: búsqueda por títulos, letras, géneros, estados de ánimo y briefs con filtros de campo como
genre:jazz,bpm:>110,key:Am,model:yue2ois:fav, chips de filtro, ocho ordenaciones, cuadrícula o lista. - La página de una canción: la letra (haz clic en una línea para oírla), la notación siguiendo la música con el cursor en las notas que suenan, la partitura en PDF, el brief, las semillas y las etiquetas, todos los archivos para descargar y las demás tomas de la canción.
- Reproduciendo: Stage, Lyrics en modo karaoke, Notation y Visual a pantalla completa, con fundidos cruzados, un conmutador A/B contra la toma sin masterizar sincronizada, y reproducción a 0.75 a 1.25 veces manteniendo el tono.
- Visuals: 13 en total (osciloscopio, vectorscopio, hiperespacio, caleidoscopio y más), dibujados a partir del espectro, la forma de onda, la imagen estéreo y los ritmos, elegidos por canción, por lista de reproducción o rotando con un temporizador.
- Plenio Drop: un renderizador estilo MilkDrop en la tarjeta gráfica con 16 preajustes y uno creado desde cero cada vez. Tus propios preajustes son archivos JSON cortos de números y pequeñas fórmulas, leídos por la propia calculadora del reproductor en lugar de ejecutarse como script, y un archivo guardado cambia en pantalla en menos de tres segundos.
Plenio Drop en el reproductor, con la letra sobre el visual.
- Live Play: una lista de reproducción para una fiesta que reordenas mientras suena, y las canciones que creas en ComfyUI se unen en el momento en que Export Release las escribe.
- Una canción como vídeo: un MP4 con el visual, la letra como subtítulos o karaoke, la notación siguiendo la música y una tarjeta de título, en Full HD, 4K, cuadrado o vertical para shorts, a 30 o 60 fotogramas por segundo, codificado por el navegador en la tarjeta gráfica.
Un fotograma del vídeo de una canción: la letra como karaoke, la notación con su cursor y el título en la esquina.
- Comparte tus canciones como reproductor: un único archivo HTML que contiene el reproductor y las canciones que elijas en MP3, a 128, 160 o 192 kbit/s. Cualquiera puede hacer doble clic en él y escuchar, con letra, notación y visuales, y sin instalación, servidor ni cuenta.
Empaquetando canciones, partituras y listas de reproducción en un único archivo HTML para enviar.
Subtítulos de la letra sincronizados escuchando
Export Release también escribe la letra junto a la canción como <name> (lines).srt, un subtítulo por línea, y <name> (notes).srt, un subtítulo nuevo en cada sílaba o palabra. Los tiempos se miden en lugar de derivarse de la partitura: el ASR de la letra escucha la canción exportada, sus palabras se emparejan con la letra final y, para YuE2, la partitura se ajusta a ellas, ganando el oído donde la partitura y el oído no coinciden. Medido frente a un alineador forzado en 48 canciones de YuE2, la mitad de las palabras caen dentro de 0.16 segundos y el 82 por ciento dentro de medio segundo, frente al 66 por ciento de los tiempos propios de Whisper. Los instrumentales no reciben subtítulos, y una máquina sin conexión sigue exportando, con una nota que explica por qué falta la sincronización.
Primeros pasos
comfyui-plenio-music desde la línea de comandos. Plenio no instala ningún paquete de Python.
Comprueba la máquina
Abre 0 · System Check desde el explorador de plantillas y ejecútalo: informa de la versión de ComfyUI, la GPU y qué archivos de modelo necesita todavía cada plantilla.
Descarga los modelos
Abre una de las plantillas de canción y deja que el diálogo de modelos faltantes de ComfyUI descargue los archivos: YuE2-3B o MiniMax Music 3 para la música, además de un LLM local para la letra. Las listas de modelos están en la guía de usuario.
Escribe una canción
Rellena el brief, ejecuta la etapa de escritura, revisa el Song Sheet y luego renderiza. Todas las plantillas de canción terminan en Plenio · Master y escriben el registro de publicación que lee el Plenio Player.
Disponibilidad
Nodos: jplenio/Plenio-Music-Production-System · Registro de ComfyUI comfyui-plenio-music
Versión: v1.0.0
Galería de demostración: jplenio.github.io/Plenio-Music-Production-System
Documentación: guía de usuario
Modelos de música: YuE2-3B · MiniMax Music 3
Comentarios
Inicia sesión con GitHub para unirte a la conversación.