Plenio 1.0 : un studio de chansons local pour ComfyUI

<strong>Plenio Music Production System 1.0</strong> transforme ComfyUI en studio de chansons local : un modèle de langage écrit les paroles, YuE2 ou MiniMax Music 3 les interprète, puis Plenio masterise et exporte le résultat avec ses tags, sa pochette et son relevé de production. La version 1.0, publiée le 16 octobre, ajoute le Plenio Player, une interface web pour les chansons que vous avez déjà créées.

Plenio Music Production System pour ComfyUI

Plenio: Your idea. Your song. Your control.

Le spot Plenio de 54 secondes, enregistré dans ComfyUI avec les vrais modèles.

Tout s'exécute dans les propres nœuds de ComfyUI : aucun service cloud, aucune clé API, aucun paquet Python supplémentaire. Le seul élément facultatif est faster-whisper, que le pack propose d'installer la première fois qu'une fonctionnalité en a besoin. Plenio est le successeur du MiniMax Music Production Toolkit du même auteur, et c'est un nouveau paquet avec de nouveaux identifiants de nœuds plutôt qu'un renommage : les deux peuvent être installés côte à côte, et les flux de travail enregistrés continuent de fonctionner avec l'ancien toolkit.

Ce que fait le pack

Plenio est construit autour d'un parcours par modèle de musique, avec les documents qui conditionnent le rendu maintenus visibles et modifiables :

Étape	Ce qu'elle vous apporte
Brief	Song Brief et Cover Brief avec des modèles pour chaque genre : tempo, durée, voix, langue, tonalité, mesure, arrangement, proximité de genre
Écrire	Un modèle de langage local écrit le titre, le style et les paroles. Gemma 4 s'exécute nativement, ou le nœud Local LLM pilote n'importe quel GGUF depuis `models/LLM`, LM Studio, Ollama, llama.cpp, vLLM ou Jan
Vérifier	La Song Sheet montre exactement ce que le modèle de musique va recevoir. Chaque document est automatique, édité ou manuel, et le texte manuel n'est jamais remplacé
Interpréter	YuE2-3B chante la partition, ou MiniMax Music 3 effectue le rendu à partir de la légende et des paroles
Peaufiner	Stems avec une table de mixage, affinage à 48 kHz, un EQ sur la courbe, loudness à -14 LUFS / -1 dBTP avec un limiteur true-peak
Exporter	FLAC 24 bits, MP3 V0 ou WAV 32 bits flottant avec tags et pochette intégrée, plus la prise non masterisée, un relevé de sortie des documents, seeds, paramètres et loudness, et pour YuE2 la partition au format PDF

Trois modèles couvrent les parcours principaux : YuE2 · Song, YuE2 · Cover (un enregistrement devient une nouvelle version) et MiniMax · Song. Un quatrième, YuE2 · DAW, sert à composer vous-même la mélodie et les accords, soit dessinés dans l'éditeur de partition, soit joués depuis un clavier MIDI, soit importés depuis un DAW. Enhance & Master finalise et masterise un fichier que vous possédez déjà, sur CPU. Plenio ajoute 26 petits nœuds là où ComfyUI n'a pas d'équivalent, contre 55 dans le prédécesseur, et la génération, les chargeurs, les échantillonneurs et les téléchargements sont partout des nœuds propres à ComfyUI.

Nouveautés de la version 1.0 : le Plenio Player

La vue Lecture en cours du Plenio Player

Lecture en cours : la scène, les paroles syllabe par syllabe et la notation qui suit la musique.

Le lecteur s'ouvre depuis la barre d'actions de ComfyUI, une entrée du menu Plenio ou la palette de commandes, ou de façon autonome avec python plenio_player.py à l'adresse http://127.0.0.1:8765/. ComfyUI n'a pas besoin d'être en cours d'exécution : le lecteur lit les relevés de sortie dans le dossier output de ComfyUI.

Bibliothèque : recherche sur les titres, les paroles, les genres, les ambiances et les briefs avec des filtres de champ comme genre:jazz, bpm:>110, key:Am, model:yue2 ou is:fav, des puces de filtre, huit tris, grille ou liste.
La page d'une chanson : les paroles (cliquez sur une ligne pour l'écouter), la notation qui suit la musique avec le curseur sur les notes en train de sonner, la partition en PDF, le brief, les seeds et les tags, chaque fichier à télécharger, les autres prises de la chanson.
Lecture en cours : Stage, Paroles en mode karaoké, Notation et Visual en plein écran, avec fondus enchaînés, un commutateur A/B synchronisé face à la prise non masterisée, et une lecture de 0,75 à 1,25 fois en conservant la hauteur.
Visuels : 13 visuels (oscilloscope, vectorscope, hyperspace, kaléidoscope et d'autres), dessinés à partir du spectre, de la forme d'onde, de l'image stéréo et des battements, choisis par chanson, par playlist, ou en rotation sur minuterie.
Plenio Drop : un moteur de rendu de style MilkDrop sur la carte graphique avec 16 presets et un créé de toutes pièces à chaque fois. Vos propres presets sont de courts fichiers JSON de nombres et de petites formules, lus par le calculateur du lecteur plutôt qu'exécutés comme script, et un fichier enregistré change à l'écran en trois secondes.

Visuels Plenio Drop avec les paroles par-dessus

Plenio Drop dans le lecteur, avec les paroles par-dessus le visuel.

Live Play : une playlist pour une fête que vous réorganisez pendant la lecture, et les chansons que vous créez dans ComfyUI la rejoignent au moment où Export Release les écrit.
Une chanson en vidéo : un MP4 avec le visuel, les paroles en sous-titres ou en karaoké, la notation qui suit la musique et un carton de titre, en Full HD, 4K, carré ou vertical pour les formats courts, à 30 ou 60 images par seconde, encodé par le navigateur sur la carte graphique.

Une image d'une vidéo de chanson exportée

Une image de la vidéo d'une chanson : les paroles en karaoké, la notation avec son curseur et le titre dans le coin.

Partager vos chansons sous forme de lecteur : un seul fichier HTML contenant le lecteur et les chansons que vous choisissez en MP3, à 128, 160 ou 192 kbit/s. N'importe qui double-clique dessus et écoute, avec paroles, notation et visuels, sans installation, serveur ni compte.

Partager des chansons sous forme d'un seul fichier lecteur HTML

Regrouper des chansons, des partitions et des playlists dans un seul fichier HTML à envoyer.

Des sous-titres de paroles calés à l'écoute

Export Release écrit aussi les paroles à côté de la chanson sous la forme <name> (lines).srt, un sous-titre par ligne, et <name> (notes).srt, un nouveau sous-titre à chaque syllabe ou mot. Les temps sont mesurés plutôt que déduits de la partition : l'ASR des paroles écoute la chanson exportée, ses mots sont mis en correspondance avec les paroles finales, et pour YuE2 la partition y est ajustée, l'oreille l'emportant lorsque la partition et l'oreille ne sont pas d'accord. Mesuré face à un aligneur forcé sur 48 chansons YuE2, la moitié des mots tombent à moins de 0,16 seconde et 82 % à moins d'une demi-seconde, contre 66 % pour les temps de Whisper lui-même. Les instrumentaux n'ont pas de sous-titres, et une machine hors ligne exporte quand même, avec une note expliquant pourquoi le calage manque.

Commencer

### Installer les nœuds Recherchez Plenio Music Production System dans le ComfyUI Manager, ou installez comfyui-plenio-music en ligne de commande. Plenio n'installe aucun paquet Python.

Vérifier la machine

Ouvrez 0 · System Check depuis le navigateur de modèles et lancez-le : il indique la version de ComfyUI, le GPU et les fichiers de modèles dont chaque modèle a encore besoin.

Télécharger les modèles

Ouvrez l'un des modèles de chanson et laissez la boîte de dialogue des modèles manquants de ComfyUI récupérer les fichiers : YuE2-3B ou MiniMax Music 3 pour la musique, plus un LLM local pour les paroles. Les listes de modèles se trouvent dans le guide d'utilisation.

Écrire une chanson

Remplissez le brief, exécutez l'étape d'écriture, vérifiez la Song Sheet, puis lancez le rendu. Chaque modèle de chanson se termine par Plenio · Master et écrit le relevé de sortie que lit le Plenio Player.

Disponibilité

Nœuds : jplenio/Plenio-Music-Production-System · Registre ComfyUI comfyui-plenio-music
Version : v1.0.0
Galerie de démonstration : jplenio.github.io/Plenio-Music-Production-System
Docs : guide d'utilisation
Modèles de musique : YuE2-3B · MiniMax Music 3