AKUSPACE: LTX-2.5 오디오용 음향 공간 LoRA

KoshiMazaki 가 LTX-2.5 를 위한 공간 인식 오디오 LoRA 인 AKUSPACE v0.5 를 출시했습니다. 이 LoRA 는 생성되거나 참조되는 오디오에 물리적 공간의 음향 특성 (작은 방, 빈 클럽, 대성당, 혹은 야외 환경) 을 부여합니다. LoRA, 데모 사이트, 그리고 동반 ComfyUI 노드 팩 모두 오픈되어 있습니다: Hugging Face | 인터랙티브 데모 | ComfyUI-Koshi-Nodes.

AKUSPACE 제어 인터페이스: 소스, 리스너 및 선택된 음향 공간, 아래에 학습된 감쇠 시간이 표시됩니다.

AKUSPACE 의 기능

AKUSPACE 는 오디오-오디오 어댑터로 학습되었습니다: 제공된 오디오를 변환하여 방 리버브, 야외 앰비언스 및 공간 사운드 효과로 목소리, 비트 및 악기를 형성합니다. 제어 인터페이스는 프롬프트 기반으로 작동하며, AKUSPACE 트리거 단어와 공간과 그 특성을 연결하는 레벨 단어를 사용합니다:

AKUSPACE female spoken voice through synthetic cathedral reverb, moderate wide diffuse reflections and a long decaying tail, no background ambience

모드	옵션	레벨
공간: 소리가 위치하는 방	작은 방, 중간 방, 빈 클럽, 대성당	부드럽게 / 적절하게 / 강하게
장소: 소리가 존재하는 환경	야외 낮, 야외 밤	부드럽게 / 강하게
사운드 효과: 소리가 통과하는 처리 과정	듀얼 딜레이	부드럽게 / 강하게

야외 "장소"는 증가하지 않고 감소만 합니다: 앰비언스 베드는 리버브 테일이 아닌 별도의 녹음입니다. 방 캡션에는 감쇠 시간이 포함됩니다. 대성당, 그레뉼러 효과 및 두 야외 장소에는 수치적 감쇠가 없습니다.

지원 워크플로

입력	출력
오디오	기존 녹음에 대한 오디오-오디오 처리
텍스트 + 오디오	AKUSPACE 처리된 동기화 오디오를 사용한 텍스트 기반 비디오 생성
이미지 + 오디오	AKUSPACE 처리된 동기화 오디오를 사용한 이미지 기반 비디오 생성

검증된 비디오 경로는 효과 없는 음성, 이후 오디오-오디오 공간 패스, 그리고 처리된 오디오를 고정하면서 이미지가 첫 번째 프레임을 조건으로 하는 이미지 + 오디오에서 비디오로의 생성입니다. 어댑터는 오디오 브랜치를 대상으로 하며, 비디오 생성은 기본 LTX-2.5 모델이 처리합니다. 또한 더빙 패스로 실행될 수 있으며, 이때 시간 정렬된 참조가 처리를 소스 퍼포먼스에 고정시킵니다.

프롬프트 향상을 끄십시오. 리라이터는 제어 인터페이스가 의존하는 정확히 그 토큰인 트리거 단어와 레벨 단어를 재구성하여 제거합니다. 또한 LoRA 가 로드되고 참조 오디오가 없을 때 텍스트 기반 오디오 생성은 거의 무음을 생성함을 유의하십시오: 변환할 것이 없기 때문입니다.

설정 및 사용법

권장 설정은 24 스텝, CFG 1-2이며, 더 높은 볼륨과 디테일을 위해 CFG 4 로 조정합니다. 후속 절이 모든 학습 캡션에 있었으므로 부분 캡션은 완전한 것보다 덜 잘 작동합니다. ComfyUI 노드 팩은 장면 뷰 (소스, 리스너, 공간) 에서 프롬프트를 조작하기 위한 three.js 뷰어를 제공합니다.

사용 가능

LoRA 가중치: KoshiMazaki/akuspace-ltx25 LTX-2 커뮤니티 라이선스 하에
ComfyUI 노드: koshimazaki/ComfyUI-Koshi-Nodes
인터랙티브 오디오비주얼 연구: akuspace.pages.dev

AKUSPACE 의 기능

지원 워크플로

설정 및 사용법

사용 가능

댓글