LTX-2.3 MSR V2: マルチサブジェクト参照LoRAが大幅品質アップグレード

news

LiconStudioがLTX-2.3向け人気のマルチサブジェクト参照LoRAのV2をリリース。コミュニティからのフィードバックに基づき、一貫性、安定性、シーンロジックを改善。

LiconStudioは、LTX-2.3向けマルチサブジェクト参照(MSR)LoRAのV2をリリースしました。V1のコミュニティからの広範なフィードバックに基づき、一貫性、安定性、シーンロジックに大幅な改善を施しています。

V1はすでに、1つの動画内で最大5つの参照サブジェクトを追跡するマルチリファレンス動画生成の人気ソリューションでしたが、V2はユーザーから報告された最も一般的な問題点(アイデンティティのずれ、複雑な構図における視覚的アーティファクト、不自然なサブジェクト間の相互作用)に対処しています。

V2の新機能

この更新は3つの主要領域に焦点を当てています。

1. 一貫性の向上

  • キャラクターのアイデンティティ、服装、オブジェクト、シーンの詳細の保持が改善
  • フレーム間での外観の一貫性が向上
  • 複数の参照画像と生成されたビデオとの間のアライメントが改善
  • アイデンティティのずれや参照属性の損失を低減

2. 安定性の向上

  • 繰り返しのサンプリング実行においてより信頼性の高い結果
  • 視覚的アーティファクト、ちらつき、時間的不整合の低減
  • 複雑なマルチサブジェクト構図におけるより安定した生成
  • サブジェクト間の動きや相互作用の処理が改善

3. シーンロジックの向上

  • プロンプトで説明された空間的・行動的関係の理解が向上
  • より自然なサブジェクトの配置と相互作用
  • 動画の開始から終了までの時間的進行が改善
  • キャラクター、オブジェクト、背景のより一貫性のある構成

MSRの仕組み

追加のエンコーダーブランチや融合モジュールを必要とする従来のマルチリファレンス手法とは異なり、MSRは複数の静止参照画像を擬似ビデオシーケンスに変換します。このシーケンスはターゲットビデオと同じ表現空間を共有するため、モデルの既存の自己アテンション機構を通じて参照トークンにアクセスできます。追加のアーキテクチャコンポーネントは不要です。

LoRAは 2~5枚の参照画像 をサポートし、それぞれがサブジェクトのアイデンティティ、オブジェクトの詳細、シーンの背景、または複数の視点などの補完的なセマンティック情報を提供します。

使用方法

このLoRAを使用するには、複数のサブジェクト画像から固定フレームのMP4参照ビデオを作成する ComfyUI-Licon-MSR カスタムノードプラグインが必要です。モデルファイルにはサンプルワークフローが含まれており、簡単に試せます。

最良の結果を得るためのヒント

  • 各参照画像について、簡潔かつ正確な説明を使用する。説明が過剰でも不十分でも一貫性が低下する可能性があります。
  • ターゲットビデオ内で参照される各サブジェクト、オブジェクト、またはシーンの役割を明確に説明する。
  • 動きの多いシーンでは、より滑らかな動きの一貫性のために50fpsを推奨。
  • 複雑なマルチサブジェクトの相互作用では、複数回のサンプリング実行が依然として有効な場合があります。

入手方法

V2 LoRAはHugging FaceでApache 2.0ライセンスのもと入手可能です。

モデル: LiconStudio/LTX-2.3-Multiple-Subject-Reference
プラグイン: ComfyUI-Licon-MSR
ベースモデル: Lightricks/LTX-2.3

LTX-2.3 MSR V2: マルチサブジェクト参照LoRAが大幅品質アップグレード | ComfyUI Wiki