Plenio 1.0: бесплатная локальная студия песен в ComfyUI

54-секундный ролик Plenio, записанный в ComfyUI с настоящими моделями.

Всё работает внутри собственных узлов ComfyUI: без облачного сервиса, без API-ключа, без дополнительных Python-пакетов. Единственная опциональная часть: faster-whisper, который пакет предлагает установить, когда какая-либо функция впервые в нём нуждается. Plenio является преемником MiniMax Music Production Toolkit того же автора, и это новый пакет с новыми ID узлов, а не переименование: оба можно установить рядом, и сохранённые рабочие процессы продолжают работать со старым тулкитом.

Что умеет пакет

Plenio построен вокруг одного пути для каждой музыкальной модели, а документы, задающие условия рендера, остаются видимыми и редактируемыми:

Три шаблона покрывают основные маршруты: YuE2 · Song, YuE2 · Cover (запись становится новой версией) и MiniMax · Song. Четвёртый, YuE2 · DAW, предназначен для самостоятельного сочинения мелодии и аккордов: их можно нарисовать в редакторе партитуры, сыграть с MIDI-клавиатуры или импортировать из DAW. Enhance & Master доводит и мастерит уже имеющийся у вас файл на CPU. Plenio добавляет 26 небольших узлов там, где в ComfyUI нет ничего эквивалентного, против 55 у предшественника, а генерация, загрузчики, семплеры и загрузки повсюду используют собственные узлы ComfyUI.

Новое в 1.0: Plenio Player

Воспроизводится: сцена, текст слог за слогом и нотация, следующая за музыкой.

Плеер открывается из панели действий ComfyUI, через пункт меню Plenio или командную палитру, либо самостоятельно командой python plenio_player.py по адресу http://127.0.0.1:8765/. ComfyUI при этом не обязан быть запущен: плеер читает release-записи в выходной папке ComfyUI.

• Библиотека: поиск по названиям, текстам, жанрам, настроениям и брифам с фильтрами по полям, такими как genre:jazz, bpm:>110, key:Am, model:yue2 или is:fav; чипы фильтров, восемь сортировок, сетка или список.
• Страница песни: текст (нажмите на строку, чтобы услышать её), нотация, следующая за музыкой, с курсором на звучащих нотах, партитура в PDF, бриф, seed-значения и теги, каждый файл для скачивания, другие дубли этой песни.
• Воспроизводится: Stage, Lyrics в режиме караоке, Notation и Visual на весь экран, с кроссфейдами, переключателем A/B против необработанного дубля в синхроне и воспроизведением на скорости от 0.75 до 1.25 без изменения высоты тона.
• Визуализации: 13 штук (осциллограф, вектороскоп, гиперпространство, калейдоскоп и другие), построенных из спектра, волновой формы, стереообраза и битов; выбираются для песни, для плейлиста или переключаются по таймеру.
• Plenio Drop: рендерер в стиле MilkDrop на видеокарте с 16 пресетами и ещё одним, создаваемым заново каждый раз. Ваши собственные пресеты это короткие JSON-файлы из чисел и небольших формул, которые читает собственный калькулятор плеера, а не исполняет их как скрипт, и сохранённый файл меняется на экране в течение трёх секунд.

Plenio Drop в плеере, с текстом поверх визуализации.

• Live Play: плейлист для вечеринки, который вы перестраиваете прямо во время воспроизведения, а песни, созданные в ComfyUI, присоединяются к нему в тот момент, когда Export Release их записывает.
• Песня как видео: MP4 с визуализацией, текстом в виде субтитров или караоке, нотацией, следующей за музыкой, и титульной карточкой, в Full HD, 4K, квадратном или вертикальном формате для shorts, при 30 или 60 кадрах в секунду, закодированный браузером на видеокарте.

Кадр видео песни: текст в виде караоке, нотация с курсором и название в углу.

• Поделиться песнями как плеером: один HTML-файл, содержащий плеер и выбранные вами песни в MP3, со 128, 160 или 192 кбит/с. Любой может дважды щёлкнуть его и слушать, с текстом, нотацией и визуализациями, без установки, сервера или аккаунта.

Упаковка песен, партитуры и плейлистов в один HTML-файл для отправки.

Субтитры для текста, синхронизированные на слух

Export Release также записывает текст рядом с песней как <name> (lines).srt, один субтитр на строку, и <name> (notes).srt, новый субтитр на каждом слоге или слове. Время измеряется, а не выводится из партитуры: ASR текста слушает экспортированную песню, её слова сопоставляются с финальным текстом, а для YuE2 партитура подгоняется под них, причём при расхождении партитуры и слуха побеждает слух. При сравнении с принудительным выравнивателем на 48 песнях YuE2 половина слов попадает в пределах 0,16 секунды, а 82 процента в пределах половины секунды, против 66 процентов у собственных времён Whisper. Инструменталы не получают субтитров, и офлайн-машина всё равно экспортирует, с примечанием о том, почему тайминг отсутствует.

Начало работы

Доступность

Узлы: jplenio/Plenio-Music-Production-System · ComfyUI Registry comfyui-plenio-music
Релиз: v1.0.0
Галерея демо: jplenio.github.io/Plenio-Music-Production-System
Документация: руководство пользователя
Музыкальные модели: YuE2-3B · MiniMax Music 3