Plenio 1.0: ComfyUI에서 즐기는 무료 로컬 노래 스튜디오, 이제 플레이어까지
Plenio 1.0은 ComfyUI를 무료 로컬 노래 스튜디오로 바꿔 줍니다. 언어 모델이 가사를 쓰고, YuE2 또는 MiniMax Music 3가 노래를 부르며, 새로운 브라우저 플레이어가 재생과 공유를 담당합니다.
실제 모델을 사용해 ComfyUI에서 녹화한 54초 Plenio 홍보 영상입니다.
모든 것이 ComfyUI 자체 노드 안에서 실행됩니다. 클라우드 서비스도, API 키도, 추가 Python 패키지도 필요하지 않습니다. 유일한 선택 사항은 faster-whisper로, 어떤 기능이 처음 필요로 할 때 설치를 제안합니다. Plenio는 같은 작성자의 MiniMax Music Production Toolkit의 후속작이며, 이름만 바꾼 것이 아니라 새로운 노드 ID를 가진 새 패키지입니다. 두 패키지를 나란히 설치할 수 있고, 저장된 워크플로는 기존 툴킷에서도 계속 동작합니다.
이 패키지가 하는 일
Plenio는 음악 모델마다 하나의 경로를 중심으로 구성되며, 렌더링을 조건화하는 문서들은 항상 보이고 편집할 수 있게 유지됩니다.
| 단계 | 제공하는 것 |
|---|---|
| 브리프 | 모든 장르를 위한 템플릿이 있는 Song Brief와 Cover Brief: 템포, 길이, 보컬, 언어, 키, 박자, 편곡, 장르 근접도 |
| 작성 | 로컬 언어 모델이 제목, 스타일, 가사를 씁니다. Gemma 4는 네이티브로 실행되며, Local LLM 노드는 models/LLM, LM Studio, Ollama, llama.cpp, vLLM 또는 Jan의 모든 GGUF를 구동합니다 |
| 확인 | Song Sheet가 음악 모델이 실제로 받게 될 내용을 정확히 보여 줍니다. 각 문서는 자동, 편집됨 또는 수동 상태이며, 수동 텍스트는 절대 교체되지 않습니다 |
| 연주 | YuE2-3B가 악보를 노래하거나, MiniMax Music 3가 캡션과 가사로 렌더링합니다 |
| 다듬기 | 믹서가 있는 스템, 48 kHz로 리파인, 곡선 기반 EQ, 트루 피크 리미터를 사용해 -14 LUFS / -1 dBTP로 라우드니스 조정 |
| 내보내기 | 태그와 임베드된 커버 아트가 포함된 FLAC 24비트, MP3 V0 또는 WAV 32비트 실수, 그리고 마스터링 전 테이크, 문서·시드·설정·라우드니스를 담은 릴리스 기록, YuE2의 경우 악보 PDF |
세 가지 템플릿이 주요 경로를 담당합니다. YuE2 · Song, YuE2 · Cover(녹음을 새 버전으로 만듭니다), MiniMax · Song입니다. 네 번째인 YuE2 · DAW는 멜로디와 코드를 직접 작곡하기 위한 것으로, 악보 편집기에서 그리거나 MIDI 키보드로 연주하거나 DAW에서 가져올 수 있습니다. Enhance & Master는 이미 가지고 있는 파일을 CPU에서 마무리하고 마스터링합니다. Plenio는 ComfyUI에 대응 기능이 없는 곳에 26개의 작은 노드를 추가했으며, 이는 이전 버전의 55개에서 줄어든 수치입니다. 생성, 로더, 샘플러, 다운로드는 모두 ComfyUI 자체 노드를 사용합니다.
1.0의 새로운 기능: Plenio Player
재생 중: 무대, 음절 단위로 따라가는 가사, 음악을 따라가는 악보.
플레이어는 ComfyUI의 액션 바, Plenio 메뉴 항목 또는 명령 팔레트에서 열거나, http://127.0.0.1:8765/에서 python plenio_player.py로 단독 실행할 수 있습니다. ComfyUI가 실행 중이 아니어도 됩니다. 플레이어는 ComfyUI의 출력 폴더 아래에 있는 릴리스 기록을 읽습니다.
- 라이브러리: 제목, 가사, 장르, 분위기, 브리프를 대상으로 한 검색과
genre:jazz,bpm:>110,key:Am,model:yue2,is:fav같은 필드 필터, 필터 칩, 8가지 정렬, 그리드 또는 리스트 보기를 제공합니다. - 노래 페이지: 가사(줄을 클릭하면 해당 부분을 들을 수 있습니다), 커서가 울리는 음표를 따라가는 악보, 악보 PDF, 브리프, 시드와 태그, 다운로드할 모든 파일, 같은 노래의 다른 테이크를 보여 줍니다.
- 재생 중: 무대, 가라오케 모드 가사, 악보, 비주얼 전체 화면을 제공하며, 크로스페이드, 마스터링 전 테이크와 박자를 맞춘 A/B 전환, 음정을 유지한 채 0.75배에서 1.25배까지 재생을 지원합니다.
- 비주얼: 13가지(오실로스코프, 벡터스코프, 하이퍼스페이스, 만화경 등)가 있으며, 스펙트럼, 파형, 스테레오 이미지, 비트를 바탕으로 그립니다. 노래마다, 재생목록마다 선택하거나 타이머로 순환할 수 있습니다.
- Plenio Drop: 16개의 프리셋과 매번 새로 만들어지는 프리셋을 갖춘 그래픽 카드 기반 MilkDrop 스타일 렌더러입니다. 직접 만든 프리셋은 숫자와 짧은 수식으로 이루어진 JSON 파일로, 스크립트로 실행되지 않고 플레이어 자체 계산기가 읽으며, 저장한 파일은 3초 이내에 화면에 반영됩니다.
플레이어의 Plenio Drop과 그 위에 겹쳐진 가사.
- Live Play: 재생 중에도 순서를 바꿀 수 있는 파티용 재생목록이며, ComfyUI에서 만든 노래는 Export Release가 기록하는 순간 합류합니다.
- 노래를 영상으로: 비주얼, 자막 또는 가라오케 형태의 가사, 음악을 따라가는 악보, 타이틀 카드를 담은 MP4를 Full HD, 4K, 정사각형 또는 숏폼용 세로 형식으로, 초당 30 또는 60 프레임으로 만들 수 있으며 브라우저가 그래픽 카드에서 인코딩합니다.
노래 영상의 한 프레임: 가라오케 가사, 커서가 있는 악보, 모서리의 제목.
- 노래를 플레이어로 공유: 플레이어와 선택한 노래를 MP3(128, 160 또는 192 kbit/s)로 담은 HTML 파일 하나를 만듭니다. 누구든 더블클릭하면 가사, 악보, 비주얼과 함께 들을 수 있고, 설치나 서버, 계정이 필요하지 않습니다.
노래, 악보, 재생목록을 하나의 HTML 파일로 묶어 전송하는 모습.
듣기로 타이밍을 맞춘 가사 자막
Export Release는 또한 노래 옆에 가사를 <name> (lines).srt로 저장하는데, 한 줄에 자막 하나가 들어갑니다. 그리고 <name> (notes).srt는 음절이나 단어마다 새 자막을 만듭니다. 시간은 악보에서 계산하는 것이 아니라 측정합니다. 가사 ASR이 내보낸 노래를 듣고, 그 단어들을 최종 가사와 대조하며, YuE2의 경우 악보를 가사에 맞춥니다. 악보와 귀가 어긋나면 귀가 우선합니다. YuE2 노래 48곡에서 강제 정렬기와 비교해 측정했을 때, 단어의 절반은 0.16초 이내에, 82퍼센트는 0.5초 이내에 들어맞았으며, 이는 Whisper 자체 시간의 66퍼센트보다 나은 결과입니다. 연주곡에는 자막이 붙지 않으며, 오프라인 머신에서도 내보내기가 되지만 타이밍이 없는 이유를 알려 주는 안내가 표시됩니다.
시작하기
comfyui-plenio-music을 설치하세요. Plenio는 Python 패키지를 설치하지 않습니다.
머신 확인하기
템플릿 브라우저에서 0 · System Check를 열고 실행하세요. ComfyUI 버전, GPU, 그리고 각 템플릿에 아직 필요한 모델 파일을 알려 줍니다.
모델 다운로드하기
노래 템플릿 중 하나를 열고 ComfyUI의 누락된 모델 대화상자로 파일을 내려받으세요. 음악용 YuE2-3B 또는 MiniMax Music 3, 그리고 가사용 로컬 LLM이 필요합니다. 모델 목록은 사용자 가이드에 있습니다.
노래 쓰기
브리프를 채우고, 작성 단계를 실행하고, Song Sheet를 확인한 뒤 렌더링하세요. 모든 노래 템플릿은 Plenio · Master로 끝나며, Plenio Player가 읽는 릴리스 기록을 기록합니다.
사용 가능
노드: jplenio/Plenio-Music-Production-System · ComfyUI Registry comfyui-plenio-music
릴리스: v1.0.0
데모 갤러리: jplenio.github.io/Plenio-Music-Production-System
문서: 사용자 가이드
음악 모델: YuE2-3B · MiniMax Music 3
댓글
GitHub로 로그인하고 토론에 참여하세요.