AKUSPACE: LTX-2.5 音声用音響空間 LoRA

ComfyUI Wikinews

KoshiMazaki が AKUSPACE v0.5 をリリースしました。これは LTX-2.5 用の空間オーディオ LoRA で、生成された声や音楽を部屋、クラブ、大聖堂、または屋外に配置します。ComfyUI ノードも含まれています。

KoshiMazakiAKUSPACE v0.5 をリリースしました。これは LTX-2.5 用の空間認識型オーディオ LoRA で、生成済みまたはリファレンス音声に物理的な空間の音響特性(小さな部屋、空のクラブ、大聖堂、屋外環境など)を与えます。LoRA、デモサイト、そしてコンパニオン ComfyUI ノードパックはすべてオープンです:Hugging Face | インタラクティブデモ | ComfyUI-Koshi-Nodes

AKUSPACE コントロールサーフェス

AKUSPACE コントロールサーフェス:ソース、リスナー、選択済みの音響空間。下部には学習済みの減衰時間が表示されています。

機能について

AKUSPACE はオーディオ・トゥ・オーディオアダプターとしてトレーニングされています:与えられた音声を変換し、部屋の残響、屋外の雰囲気、空間的なサウンドエフェクトを用いて声、ビート、楽器を形成します。コントロールサーフェスはプロンプト駆動で、トリガーワード AKUSPACE と、空間とその特性の間のレベルワードを使用します:

AKUSPACE female spoken voice through synthetic cathedral reverb, moderate wide diffuse reflections and a long decaying tail, no background ambience
モードオプションレベル
スペース:音が存在する部屋小さな部屋、中程度の部屋、空のクラブ、大聖堂穏やか / 中程度 / 重め
プレイス:音が存在する環境屋外昼間、屋外夜間穏やか / 重め
サウンドエフェクト:音が通る処理ダブルディレイ穏やか / 重め

屋外「プレイス」は縮小のみで拡大しません:アンビエンスベッドは残響尾ではなく別々の録音です。部屋のキャプションには減衰時間が含まれますが、大聖堂、グラニュラー効果、および両方の屋外プレイスには数値的な減衰はありません。

サポートされているワークフロー

入力出力
音声既存の録音に対するオーディオ・トゥ・オーディオ処理
テキスト + 音声AKUSPACE 処理済みの同期音声付きテキストから動画へ
画像 + 音声AKUSPACE 処理済みの同期音声付き画像から動画へ

動画における確立されたルートは、ドライボイス、次にオーディオ・トゥ・オーディオの空間パス、最後に画像+音声から動画への変換です。この際、処理済みの音声は固定され、画像が最初のフレームを条件付けます。アダプターは音声ブランチを対象とし、動画生成はベースの LTX-2.5 モデルによって行われます。また、ダビングパスとしても実行でき、その時間アラインメントされたリファレンスが、処理をソースパフォーマンスに固定します。

プロンプト強化をオフにしてください。書き換えツールはトリガーワードとレベル言葉を言い換え消去してしまいますが、これらはコントロールサーフェスが依存するトークンそのものです。また、LoRA をロードし参照音声がない状態でテキストから音声生成を行うと、ほぼ無音になります:変換する対象がないためです。

設定と使用方法

推奨設定は 24 ステップ、CFG 1-2 です。より高い音量と詳細度を得るには CFG 4 に調整します。部分キャプションは完全なキャプションよりもうまく機能しません。なぜなら、後続の節はすべてのトレーニングキャプションに含まれていたからです。ComfyUI ノードパックには、シーンビューからのプロンプト操作用の three.js ビューアが同梱されています:ソース、リスナー、スペース。

入手先

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
AKUSPACE: LTX-2.5 音声用音響空間 LoRA | ComfyUI Wiki