FL YuE2 : studio de musique avec piano roll pour YuE2 dans ComfyUI

Ce que le pack apporte

ComfyUI a intégré la prise en charge native de YuE2 plus tôt ce mois-ci, ce qui couvre la génération de chansons à partir de paroles et le conditionnement par partition ABC. FL YuE2 construit une couche de production par-dessus : vous composez des chansons à partir de paroles et d'un style, créez ou importez une partition ABC, et générez un audio stéréo 48 kHz avec YuE2-3B. Les nœuds s'intègrent aux nœuds standard de ComfyUI pour l'aperçu audio, l'enregistrement et le traitement, et le pack utilise l'installation Torch existante de ComfyUI au lieu d'installer le paquet YuE2 d'origine.

L'ensemble de nœuds est petit et linéaire :

• Load Models récupère le modèle YuE2-3B et le décodeur audio séparé (environ 7,8 GB au premier lancement) dans ComfyUI/models/yue2/, avec prise en charge de la reprise et vérification du manifeste des poids.
• Compose prend un style musical, des paroles avec des sections [Verse] / [Chorus], un mode de planification et une graine, et produit une partition ABC.
• Render Music génère les tokens musicaux et les latents acoustiques ; acoustic_steps=32 correspond au solveur midpoint publié.
• Decode Audio renvoie un AUDIO ComfyUI standard, avec une option tile_frames pour réduire la mémoire du décodeur.

Le piano roll est l'atout principal

La pièce maîtresse est le flux de travail d'édition de partition : un piano roll de style MIDI propulsé par YuE2 ABC, avec deux pistes mélodiques monophoniques et une piste d'accords distincte. Vous faites glisser des notes, connectez l'éditeur à l'entrée score_abc de Compose, et générez exactement la mélodie que vous avez dessinée. Deux mélodies monophoniques et une piste d'accords constituent la portée actuelle ; l'import de fichiers MIDI et la transcription audio ne sont pas inclus.

Les modes de planification s'y appliquent naturellement : full génère la mélodie et les accords, melody laisse l'accompagnement plus libre, et off ignore complètement la partition symbolique. Une composition inchangée conserve son préfixe de tokens exact via le socket de composition, de sorte qu'un nouveau rendu avec une graine fixe reproduit la même prise. Une partition ABC fournie court-circuite la génération de partition et conserve l'instruction full ou melody, et des paroles vides ne remplacent jamais votre choix de planification : utile pour les prompts instrumentaux où vous décrivez l'instrumentation dans le champ de style.

Entraînement AR LoRA intégré

Le pack inclut également un entraîneur AR LoRA YuE2 : des jeux de données vérifiés, des aperçus de checkpoints et la boucle d'entraînement exécutée dans ComfyUI sur le même encodeur. Cela boucle le cycle depuis la référence de style jusqu'à un adaptateur de voix ou de genre personnalisé sans quitter l'application, ce qu'aucune autre intégration YuE2 ne fait actuellement.

Flux de travail

L'exemple « de l'éditeur de partition à la chanson » relie Piano Roll → Compose → Render Music → Decode Audio → Preview/Save avec un chargeur de modèle partagé :

Disponibilité

Installez ComfyUI-FL-YuE2 via ComfyUI Manager, ou clonez filliptm/ComfyUI-FL-YuE2 dans ComfyUI/custom_nodes et exécutez pip install -r requirements.txt dans l'environnement ComfyUI. Il nécessite une version en cours de ComfyUI avec l'opération split-half RMS/RoPE de Comfy Kitchen et un GPU NVIDIA compatible BF16 ; l'auteur l'a validé sur une RTX PRO 6000 Blackwell sous Windows, et les configurations de 24 GB n'ont pas été testées. YuE2-3B reste sous licence de recherche (CC-BY-NC-4.0) de l'équipe m-a-p.