LTX-2.3 Foley LoRA: Lightricks 비디오 모델을 위한 현실적인 비디오-투-오디오 사운드 효과

news

FuzzPuppy가 LTX-2.3 Foley LoRA를 출시했습니다. 이 LoRA는 LTX-2.3 생성 비디오에 배경 음악 없이 시각적으로 동기화된 현실적인 사운드 효과를 추가하는 비디오-투-오디오 LoRA입니다.

FuzzPuppy가 **LTX-2.3 Foley LoRA**(HuggingFace)를 출시했습니다. 이 LoRA 어댑터는 Lightricks의 LTX-2.3을 위해 생성된 비디오 콘텐츠에 배경 음악이나 음악 없이 현실적이고 시각적으로 동기화된 사운드 효과를 생성합니다.

개요

LTX-2.3 Foley는 Lightricks의 LTX-2.3 비디오 생성 모델을 위한 비디오-투-오디오 LoRA입니다. LTX-2.3은 기본적으로 오디오와 함께 비디오를 생성하지만, 종종 배경 음악이나 리듬 사운드트랙을 기본값으로 사용합니다. Foley LoRA는 모델이 시각적 콘텐츠와 일치하는 현실 세계의 사운드 효과(발소리, 문 닫는 소리, 주방 소리, 스포츠 충돌 등)를 생성하도록 유도합니다.

"Foley"라는 이름은 화면 동작에 맞춰 맞춤 사운드 효과를 녹음하는 영화 제작 기술에서 유래했습니다.

작동 방식

이 LoRA는 LTX-2.3의 비디오-투-오디오 기능 위에 적용됩니다. 사용자는 다음을 통해 출력을 제어합니다.

  • LoRA 승수(multiplier): 권장 범위 1–3 (값이 높을수록 음악을 더 적극적으로 억제)
  • 설명 프롬프트: 보이는 동작을 설명한 후 "No speech is present. No music is present."를 추가
  • 네거티브 프롬프팅: 음악, 멜로디, 노래, 음악 요소를 제외

예시 프롬프트:

A barista uses an espresso machine to steam milk. No speech is present. No music is present.

호환성

Foley LoRA는 LTX-2.3 베이스 또는 증류(distilled) 비디오-투-오디오 모델용으로 설계되었습니다. 단일 .safetensors 파일(ltx-2.3-foley-400-steps.safetensors, 400 학습 스텝)로 제공되며, ComfyUI 또는 diffusers의 표준 LoRA 로딩 워크플로를 통해 로드할 수 있습니다.

사용 가능성

LoRA 가중치는 HuggingFace에서 LTX 커뮤니티 라이선스 계약에 따라 공개되었습니다.

LTX-2.3 Foley LoRA: Lightricks 비디오 모델을 위한 현실적인 비디오-투-오디오 사운드 효과 | ComfyUI Wiki