FL YuE2: Estudio de música con piano roll para YuE2 en ComfyUI

Qué añade el paquete

ComfyUI incorporó soporte nativo para YuE2 a principios de este mes, que cubre la generación de canciones a partir de letras y el acondicionamiento de partituras ABC. FL YuE2 construye una capa de producción sobre ello: compones canciones a partir de letras y estilo, creas o importas una partitura ABC y renderizas audio estéreo a 48 kHz con YuE2-3B. Los nodos se conectan con los nodos estándar de vista previa, guardado y procesamiento de audio de ComfyUI, y el paquete utiliza la instalación de Torch existente de ComfyUI en lugar de instalar el paquete YuE2 original.

El conjunto de nodos es pequeño y lineal:

• Load Models descarga el modelo YuE2-3B y el decodificador de audio independiente (unos 7,8 GB en la primera ejecución) en ComfyUI/models/yue2/, con soporte de reanudación y verificación del manifiesto de pesos.
• Compose toma el estilo musical, la letra con secciones [Verse] / [Chorus], el modo de planificación y la semilla, y produce una partitura ABC.
• Render Music genera tokens musicales y latentes acústicos; acoustic_steps=32 coincide con el solver de punto medio publicado.
• Decode Audio devuelve AUDIO estándar de ComfyUI, con una opción tile_frames para reducir el uso de memoria del decodificador.

El piano roll es el gancho

La pieza más destacada es el flujo de trabajo del editor de partituras: un piano roll estilo MIDI respaldado por YuE2 ABC, con dos pistas melódicas monofónicas y una pista de acordes independiente. Arrastras notas, conectas el editor a la entrada score_abc de Compose y renderizas exactamente la melodía que dibujaste. Dos melodías monofónicas y una pista de acordes es el alcance actual; la importación de archivos MIDI y la transcripción de audio no están incluidos.

Los modos de planificación encajan perfectamente: full genera melodía y acordes, melody deja el acompañamiento más libre y off omite por completo la partitura simbólica. Una composición sin cambios conserva su prefijo exacto de tokens a través del socket de composición, de modo que volver a renderizar con una semilla fija reproduce la misma toma. Una partitura ABC proporcionada omite la generación de partituras y conserva la instrucción full o melody, y dejar la letra en blanco nunca anula tu elección de planificación: útil para prompts instrumentales en los que describes la instrumentación en el campo de estilo.

Entrenamiento AR LoRA integrado

El paquete también incluye un entrenador AR LoRA de YuE2: conjuntos de datos revisados, vistas previas de checkpoints y el bucle de entrenamiento ejecutándose dentro de ComfyUI sobre el mismo encoder. Eso cierra el ciclo desde la referencia de estilo hasta un adaptador personalizado de voz o género sin salir de la aplicación, algo que ninguna otra integración de YuE2 hace actualmente.

Flujo de trabajo

El ejemplo de editor de partituras a canción conecta Piano Roll → Compose → Render Music → Decode Audio → Preview/Save con un cargador de modelos compartido:

Disponibilidad

Instala ComfyUI-FL-YuE2 a través de ComfyUI Manager, o clona filliptm/ComfyUI-FL-YuE2 en ComfyUI/custom_nodes y ejecuta pip install -r requirements.txt en el entorno de ComfyUI. Requiere una versión actual de ComfyUI con la operación split-half RMS/RoPE de Comfy Kitchen y una GPU NVIDIA compatible con BF16; el autor lo validó en una RTX PRO 6000 Blackwell bajo Windows, y las configuraciones de 24 GB no están probadas. YuE2-3B sigue teniendo una licencia de investigación (CC-BY-NC-4.0) del equipo m-a-p.