FL YuE2: ComfyUI에서 YuE2를 위한 피아노 롤 뮤직 스튜디오

이 팩이 추가하는 것

ComfyUI는 이전에 네이티브 YuE2 지원을 추가했으며, 이는 가사에서 노래 생성과 ABC 악보 조건화를 다룹니다. FL YuE2는 그 위에 프로덕션 레이어를 구축합니다. 가사와 스타일로 곡을 작곡하고, ABC 악보를 만들거나 가져오고, YuE2-3B로 48 kHz 스테레오 오디오를 렌더링합니다. 이 노드들은 ComfyUI의 표준 오디오 미리보기, 저장, 처리 노드에 연결되며, 이 팩은 업스트림 YuE2 패키지를 설치하는 대신 ComfyUI의 기존 Torch 설치를 사용합니다.

노드 세트는 작고 직선적인 구조입니다:

• Load Models는 YuE2-3B 모델과 별도의 오디오 디코더(첫 실행 시 약 7.8 GB)를 ComfyUI/models/yue2/로 가져오며, 이어받기와 가중치 매니페스트 검증을 지원합니다.
• Compose는 음악 스타일, [Verse] / [Chorus] 섹션이 있는 가사, 플래닝 모드, 시드를 입력받아 ABC 악보를 출력합니다.
• Render Music은 음악 토큰과 어쿠스틱 latent를 생성합니다. acoustic_steps=32는 공개된 중간점 solver와 일치합니다.
• Decode Audio는 일반적인 ComfyUI AUDIO를 반환하며, tile_frames 옵션으로 디코더 메모리 사용량을 줄일 수 있습니다.

피아노 롤이 핵심입니다

가장 눈에 띄는 부분은 악보 편집기 워크플로입니다. YuE2 ABC를 기반으로 하는 MIDI 스타일 피아노 롤이며, 두 개의 모노포닉 멜로디 레인과 별도의 코드 레인이 있습니다. 음표를 드래그하고 편집기를 Compose의 score_abc 입력에 연결하면 그린 멜로디를 그대로 렌더링합니다. 두 개의 모노포닉 멜로디와 코드 레인이 현재 범위이며, MIDI 파일 가져오기와 오디오 채보는 포함되지 않습니다.

플래닝 모드는 여기에 깔끔하게 대응합니다. full은 멜로디와 코드를 생성하고, melody는 반주를 더 자유롭게 두며, off는 심볼릭 악보를 완전히 건너뜁니다. 변경되지 않은 구성은 composition 소켓을 통해 정확한 토큰 접두사를 유지하므로, 고정된 시드로 다시 렌더링하면 동일한 테이크가 재현됩니다. 제공된 ABC 악보는 악보 생성을 우회하고 full 또는 melody 지시를 유지하며, 빈 가사는 플래닝 선택을 절대 덮어쓰지 않습니다. 이는 스타일 필드에 악기 구성을 설명하는 기악 프롬프트에 유용합니다.

AR LoRA 학습 내장

이 팩에는 YuE2 AR LoRA 트레이너도 포함되어 있습니다. 검토된 데이터셋, 체크포인트 미리보기, 그리고 동일한 인코더에서 ComfyUI 내부에서 실행되는 학습 루프를 제공합니다. 이는 앱을 벗어나지 않고 스타일 참조에서 사용자 정의 보이스 또는 장르 어댑터로 이어지는 루프를 완성하며, 현재 다른 YuE2 통합은 이를 제공하지 않습니다.

워크플로

악보 편집기에서 곡으로 이어지는 예제는 공유 모델 로더와 함께 Piano Roll → Compose → Render Music → Decode Audio → Preview/Save를 연결합니다:

사용 가능 여부

ComfyUI Manager를 통해 ComfyUI-FL-YuE2를 설치하거나, filliptm/ComfyUI-FL-YuE2를 ComfyUI/custom_nodes에 복제하고 ComfyUI 환경에서 pip install -r requirements.txt를 실행하세요. 최신 ComfyUI(Comfy Kitchen의 split-half RMS/RoPE 연산 포함)와 BF16을 지원하는 NVIDIA GPU가 필요합니다. 작성자는 Windows에서 RTX PRO 6000 Blackwell로 검증했으며, 24 GB 구성은 테스트되지 않았습니다. YuE2-3B는 m-a-p 팀의 연구용 라이선스(CC-BY-NC-4.0)로 유지됩니다.