Lightricks、公式LTX-2.3 Foley V2A LoRAをリリース：動画に同期する効果音生成

news

Lightricksが公式LTX-2.3 Foley V2A LoRAをリリース。足音や衝撃音、タイピング音、環境音など、映像に視覚的に同期したリアルな効果音を生成します。

Lightricksは、公式LTX-2.3 Foley V2A LoRA (HuggingFace) をリリースしました。これは、LTX-2.3で生成された動画に対して、足音、ハンマーで叩く音、タイピングのクリック音、エンジン音など、視覚的に同期したリアルな効果音をBGMなしで生成します。

概要

LTX-2.3-22b-LoRA-Foley-V2A は、Lightricksが自社の LTX-2.3 オーディオ・ビデオ基盤モデル向けに提供する公式LoRAアダプターです。LTX-2.3はネイティブでオーディオ付きの動画を生成できますが、多くの場合、背景音楽やリズミカルなサウンドトラックを生成します。このFoley LoRAは、モデルを画面上のアクションに正確に一致する現実世界の効果音の生成に向けて誘導します。

伝統的な映画制作技法である、視覚的なアクションに合わせてカスタム効果音を録音する「フォーリー」にちなんで名付けられたこのモデルは、楽曲スコアではなくシーンに属する音、つまり物語内のオーディオ（ダイジェティック・サウンド）の生成に優れています。

鍛冶屋がハンマーで叩く音 — 鍛冶場の雰囲気と共に聞こえるリアルな金属音（モデルリポジトリのサンプルより）

サンプル音声

このモデルには、その能力を示す6つのデモ動画が付属しています。

シーン音の説明
鍛冶屋のハンマー打ち重厚な金属音、火花の弾ける音、鍛冶場の雰囲気
ノートパソコンのキーボードタイピング速い軽快なクリック音、こもったキータップ、アルミパームレストとの接触音
フォーカスパッドトレーニングパッドを叩く音、皮革のような衝撃音、ジムの床での足の回転音
遊歩道の足音木の上を歩く中空の足音、軋む板、靴の擦れる音
濡れた雪の上を歩く雪が圧縮される音、ぬかるみを踏む音、氷の殻を砕く音
山道でのオートバイエンジンの回転音、タイヤのヒス音、風切り音

モデルの使用方法

このLoRAは、HuggingFaceでゲート付きモデル（LTX-2 コミュニティライセンスへの同意が必要）として公開されています。チェックポイントファイルは以下です。

ltx-2.3-22b-lora-foley-v2a-1.0.safetensors

これは、標準のLTX-2.3 22Bベースモデルに重ねてロードされます。ComfyUIユーザーは、Lightricks 公式の ComfyUI-LTXVideo ラッパーノードを使用してLoRAをロードできます。このノードはLTXパイプライン向けのLoRAアダプターをサポートしています。

Foley LoRAを使用するには、まず HuggingFaceページ でライセンスに同意し、その後HF CLIを使用してダウンロードします。 ```bash hf download Lightricks/LTX-2.3-22b-LoRA-Foley-V2A --local-dir ComfyUI/models/loras ```

公式版とコミュニティ版

このリリースは、6月下旬にFuzzPuppyが公開したコミュニティ制作の LTX-2.3 Foley LoRA に続くものです。Lightricksの公式バージョンはLTXチーム自身によって構築され、他のLTX 22B LoRAと同じアーキテクチャを採用しており、LTX-2 コミュニティライセンスに関連したゲート付きライセンスが適用されています。

リンク

Lightricks、公式LTX-2.3 Foley V2A LoRAをリリース：動画に同期する効果音生成 | ComfyUI Wiki