Entrena tus propios LoRAs de YuE2 directamente en ComfyUI

Qué entrena y cómo

YuE2-3B genera canciones completas a partir de un prompt de estilo y una letra, y en su interior tiene tres partes: un modelo de lenguaje AR de 2.2B que planifica la canción y escribe tokens semánticos, una rama NAR de flow-matching de 1.5B que renderiza los latents del VAE de 64 canales en sonido, y un VAE estéreo de 48 kHz. El entrenador congela la rama AR "compositora" (m-a-p no ha publicado un codificador de audio a tokens ni su código de entrenamiento) y entrena adaptadores LoRA solo en la rama NAR, usando el objetivo de flow-matching publicado.

Eso convierte el resultado en un LoRA de estilo, instrumentación y timbre vocal en lugar de un clon de voz. El entrenamiento no necesita subtítulos: los archivos de audio se codifican en latents del VAE una sola vez y se almacenan en caché en disco, y la palabra de activación se inyecta mediante el prefijo de texto nativo del checkpoint de YuE2 ([Tags] tu_palabra_de_activación, caption ...). Se admite un archivo .txt opcional con el mismo nombre que cada archivo de audio si deseas un control más preciso.

El LoRA guardado es un *.safetensors estándar en formato nativo de ComfyUI, se coloca en models/loras/ y se carga con el nodo estándar LoraLoaderModelOnly sobre el checkpoint nativo de YuE2. Sin pasos de conversión.

Requisitos

• El checkpoint nativo de YuE2 en un solo archivo: yue2_3b_bf16.safetensors (~7.8 GB) de Comfy-Org/YuE2, el mismo archivo que usan los nodos de generación nativos. Usa el archivo bf16; el repack INT8 no se puede entrenar.
• Se recomiendan 24 GB de VRAM (probado en un RTX 5090 Laptop de 24 GB).
• El paquete de nodos es autónomo: el código oficial del modelo YuE2 (el yue2_infer de m-a-p, Apache-2.0, sin modificar) viene incluido, así que no se necesitan otros nodos personalizados.

Configuraciones del autor y primeras impresiones

La receta recomendada por el autor es 5000 pasos con peso 2.0, y el LoRA funciona mejor con el modelo FP16 que con la variante convrot. La primera retroalimentación de la comunidad es mixta: el primer problema reportado indica que un LoRA entrenado no tiene ningún efecto audible, y el clonado de voz aparece explícitamente como no funcional, así que considera esto una herramienta experimental que todavía se está desarrollando de forma abierta. El proyecto ya tiene forks que exploran una cobertura de entrenamiento más amplia, incluido uno que entrena el modelo acústico además del planner CLIP.

Disponibilidad

El entrenador es gratis en GitHub en Starnodes2024/ComfyUI-YuE2-Trainer (51 estrellas en el momento de escribir esto). Instálalo a través de ComfyUI-Manager o con git clone en custom_nodes.