FL YuE2: музыкальная студия piano roll для YuE2 в ComfyUI

Что добавляет пакет

Нативная поддержка YuE2 появилась в ComfyUI ранее в этом месяце: она охватывает генерацию песни из текста и условие ABC-партитуры. FL YuE2 строит поверх неё продакшн-слой: вы сочиняете песни из текста и стиля, создаёте или импортируете ABC-партитуру и рендерите стерео-аудио 48 кГц с помощью YuE2-3B. Узлы подключаются к стандартным нодам аудио-предпросмотра, сохранения и обработки ComfyUI, а пакет использует уже существующую установку Torch в ComfyUI вместо установки оригинального пакета YuE2.

Набор узлов небольшой и линейный:

• Load Models загружает модель YuE2-3B и отдельный аудиодекодер (около 7,8 ГБ при первом запуске) в ComfyUI/models/yue2/, с поддержкой возобновления и проверкой манифеста весов.
• Compose принимает музыкальный стиль, текст с секциями [Verse] / [Chorus], режим планирования и seed, а на выходе даёт ABC-партитуру.
• Render Music генерирует музыкальные токены и акустические латенты; acoustic_steps=32 соответствует выпущенному midpoint-солверу.
• Decode Audio возвращает обычный ComfyUI AUDIO, с опцией tile_frames для снижения потребления памяти декодером.

Piano roll: главная фишка

Самая заметная часть: рабочий процесс редактора партитур, MIDI-подобный piano roll на основе YuE2 ABC с двумя монофоническими дорожками мелодии и отдельной дорожкой аккордов. Вы перетаскиваете ноты, подключаете редактор ко входу score_abc ноды Compose и рендерите именно ту мелодию, которую нарисовали. Текущий охват: две монофонические мелодии и дорожка аккордов. Импорт MIDI-файлов и транскрипция аудио не включены.

Режимы планирования чётко ложатся на эту схему: full генерирует мелодию и аккорды, melody оставляет аккомпанемент более свободным, а off полностью пропускает символьную партитуру. Неизменённая композиция сохраняет точный префикс токенов через сокет композиции, поэтому повторный рендеринг с фиксированным seed воспроизводит тот же дубль. Переданная ABC-партитура обходит генерацию партитуры и сохраняет инструкцию full или melody, а пустой текст никогда не переопределяет выбранный режим планирования: это полезно для инструментальных промптов, где инструментовка описывается в поле стиля.

Встроенное обучение AR LoRA

Пакет также включает тренер YuE2 AR LoRA: проверенные датасеты, предпросмотры checkpoint'ов и цикл обучения, работающий внутри ComfyUI на том же энкодере. Это замыкает цикл от референса стиля до пользовательского голосового или жанрового адаптера, не покидая приложения, чего сейчас не делает ни одна другая интеграция YuE2.

Рабочий процесс

Пример «из редактора партитуры в песню» соединяет Piano Roll → Compose → Render Music → Decode Audio → Preview/Save с общим загрузчиком модели:

Доступность

Установите ComfyUI-FL-YuE2 через ComfyUI Manager или клонируйте filliptm/ComfyUI-FL-YuE2 в ComfyUI/custom_nodes и выполните pip install -r requirements.txt в окружении ComfyUI. Требуется текущая версия ComfyUI с операцией split-half RMS/RoPE из Comfy Kitchen и NVIDIA GPU с поддержкой BF16; автор проверил его на RTX PRO 6000 Blackwell под Windows, а конфигурации на 24 ГБ не тестировались. YuE2-3B по-прежнему распространяется по исследовательской лицензии (CC-BY-NC-4.0) от команды m-a-p.