Обучите собственные LoRA для YuE2 прямо в ComfyUI

Что обучается и как

YuE2-3B генерирует полноценные песни по стилевому промпту и тексту, и внутренне состоит из трёх частей: языковая AR-модель на 2.2B параметров, которая планирует песню и записывает семантические токены, ветка NAR flow-matching на 1.5B, которая преобразует 64-канальные VAE-латенты в звук, и стерео VAE с частотой 48 кГц. Тренер замораживает ветку AR-«композитора» (m-a-p не выпустила ни кодировщик аудио в токены, ни код его обучения) и обучает LoRA-адаптеры только на ветке NAR, используя опубликованную цель flow-matching.

Таким образом, результат это LoRA стиля, инструментовки и тембра вокала, а не клонирование голоса. Обучение проходит без описаний: аудиофайлы один раз кодируются в VAE-латенты и кэшируются на диск, а триггерное слово подставляется через нативный для чекпоинта YuE2 текстовый префикс ([Tags] your_trigger_word, caption ...). Дополнительно поддерживается опциональный .txt с описанием и тем же именем для каждого файла, если нужен более точный контроль.

Сохранённая LoRA это стандартный *.safetensors в нативном формате ComfyUI: положите его в models/loras/ и загружайте штатной нодой LoraLoaderModelOnly на нативном чекпоинте YuE2. Никакого этапа конвертации.

Требования

• Нативный однофайловый чекпоинт YuE2: yue2_3b_bf16.safetensors (~7.8 ГБ) из Comfy-Org/YuE2, тот же файл, который используют нативные ноды генерации. Используйте файл bf16; перепакованный INT8 вариант обучать нельзя.
• РЕКОМЕНДУЕТСЯ 24 ГБ видеопамяти (проверено на RTX 5090 Laptop 24 ГБ).
• Пакет Узлов самодостаточен: официальный код модели YuE2 (yue2_infer от m-a-p, Apache-2.0, без изменений) поставляется в комплекте, поэтому другие пользовательские ноды не требуются.

Настройки автора и первая обратная связь

Рекомендуемый автором рецепт: 5000 шагов с весом 2.0, и LoRA работает лучше с моделью FP16, чем с вариантом convrot. Первые отзывы сообщества неоднозначны: в первой проблеме сообщается, что обученная LoRA не даёт слышимого эффекта, а клонирование голоса прямо указано как неработающее, так что относитесь к этому как к экспериментальному инструменту, который ещё дорабатывается в открытую. У проекта уже есть форки, исследующие более широкий охват обучения, включая один, который обучает акустическую модель вместе с планировщиком CLIP.

Доступность

Тренер бесплатно доступен на GitHub: Starnodes2024/ComfyUI-YuE2-Trainer (51 звезда на момент написания). Установите через ComfyUI-Manager или выполните git clone в custom_nodes.