Lightricks 发布官方 LTX-2.3 Foley V2A LoRA 用于声音特效
news
Lightricks 发布官方 LTX-2.3 Foley V2A LoRA,可生成逼真、与视觉同步的声音特效——脚步声、撞击声、打字声和环境音效。
Lightricks 已发布官方 LTX-2.3 Foley V2A LoRA(HuggingFace),可为 LTX-2.3 生成的视频生成逼真、与视觉同步的声音特效——脚步声、锤击声、敲键声、引擎轰鸣声等,且不包含背景音乐。
概述
LTX-2.3-22b-LoRA-Foley-V2A 是 Lightricks 为其 LTX-2.3 音频-视频基础模型打造的官方 LoRA 适配器。LTX-2.3 原生可生成附带音频的视频,但往往产生背景音乐或节奏配乐。此 Foley LoRA 将模型引导至生成现实世界声音特效,精确匹配画面动作。
该 LoRA 以传统电影制作中为视觉动作同步录制定制音效的技术命名,擅长生成剧情音效——即场景内而非配乐中的声音。
铁匠锤打——带有锻炉氛围的真实金属撞击声(来自模型仓库的示例)
示例声音
模型提供六个演示视频展示其能力范围:
| 场景 | 声音描述 |
|---|---|
| 铁匠锤打 | 沉重金属撞击声、火星迸溅声、锻炉房间氛围声 |
| 笔记本电脑键盘打字 | 快速轻击声、静音按键触底声、铝制掌托接触声 |
| 训练垫击打 | 软垫拍击声、皮革闷响、地板上脚掌转动声 |
| 木板路脚步声 | 空心木制脚步声、木板吱嘎声、鞋底摩擦声 |
| 湿雪行走 | 积雪压缩声、雪泥噗噗声、冰壳碎裂声 |
| 山路上摩托车 | 引擎轰鸣、轮胎嘶嘶声、风声呼啸 |
使用模型
该 LoRA 以门控模型形式在 HuggingFace 上提供(需接受 LTX-2 社区许可证)。检查点文件为:
ltx-2.3-22b-lora-foley-v2a-1.0.safetensors它加载在标准 LTX-2.3 22B 基础模型之上。对于 ComfyUI 用户,可通过 Lightricks 官方 ComfyUI-LTXVideo 包装节点加载 LoRA,该包装节点支持 LTX 管线的 LoRA 适配器。
要使用 Foley LoRA,请先在 HuggingFace 页面 接受许可证,然后使用 HF CLI 下载:
```bash
hf download Lightricks/LTX-2.3-22b-LoRA-Foley-V2A --local-dir ComfyUI/models/loras
```
官方版与社区版
此次发布之前,FuzzPuppy 在 6 月底制作了一个 社区版 LTX-2.3 Foley LoRA。官方 Lightricks 版本由 LTX 团队直接构建,使用与其他 LTX 22B LoRA 相同的架构,并附带与 LTX-2 社区许可证绑定的门控许可。
链接
- 模型: Lightricks/LTX-2.3-22b-LoRA-Foley-V2A 在 HuggingFace 上
- 基础模型: Lightricks/LTX-2.3
- LTX-2 仓库: github.com/Lightricks/LTX-2
- ComfyUI 包装: Lightricks/ComfyUI-LTXVideo