Lightricks 发布官方 LTX-2.3 Foley V2A LoRA 用于声音特效

news

Lightricks 发布官方 LTX-2.3 Foley V2A LoRA,可生成逼真、与视觉同步的声音特效——脚步声、撞击声、打字声和环境音效。

Lightricks 已发布官方 LTX-2.3 Foley V2A LoRAHuggingFace),可为 LTX-2.3 生成的视频生成逼真、与视觉同步的声音特效——脚步声、锤击声、敲键声、引擎轰鸣声等,且不包含背景音乐。

概述

LTX-2.3-22b-LoRA-Foley-V2A 是 Lightricks 为其 LTX-2.3 音频-视频基础模型打造的官方 LoRA 适配器。LTX-2.3 原生可生成附带音频的视频,但往往产生背景音乐或节奏配乐。此 Foley LoRA 将模型引导至生成现实世界声音特效,精确匹配画面动作。

该 LoRA 以传统电影制作中为视觉动作同步录制定制音效的技术命名,擅长生成剧情音效——即场景内而非配乐中的声音。

铁匠锤打——带有锻炉氛围的真实金属撞击声(来自模型仓库的示例)

示例声音

模型提供六个演示视频展示其能力范围:

场景声音描述
铁匠锤打沉重金属撞击声、火星迸溅声、锻炉房间氛围声
笔记本电脑键盘打字快速轻击声、静音按键触底声、铝制掌托接触声
训练垫击打软垫拍击声、皮革闷响、地板上脚掌转动声
木板路脚步声空心木制脚步声、木板吱嘎声、鞋底摩擦声
湿雪行走积雪压缩声、雪泥噗噗声、冰壳碎裂声
山路上摩托车引擎轰鸣、轮胎嘶嘶声、风声呼啸

使用模型

该 LoRA 以门控模型形式在 HuggingFace 上提供(需接受 LTX-2 社区许可证)。检查点文件为:

ltx-2.3-22b-lora-foley-v2a-1.0.safetensors

它加载在标准 LTX-2.3 22B 基础模型之上。对于 ComfyUI 用户,可通过 Lightricks 官方 ComfyUI-LTXVideo 包装节点加载 LoRA,该包装节点支持 LTX 管线的 LoRA 适配器。

要使用 Foley LoRA,请先在 HuggingFace 页面 接受许可证,然后使用 HF CLI 下载: ```bash hf download Lightricks/LTX-2.3-22b-LoRA-Foley-V2A --local-dir ComfyUI/models/loras ```

官方版与社区版

此次发布之前,FuzzPuppy 在 6 月底制作了一个 社区版 LTX-2.3 Foley LoRA。官方 Lightricks 版本由 LTX 团队直接构建,使用与其他 LTX 22B LoRA 相同的架构,并附带与 LTX-2 社区许可证绑定的门控许可。

链接

Lightricks 发布官方 LTX-2.3 Foley V2A LoRA 用于声音特效 | ComfyUI Wiki