LTX-Best-Face-ID:ArcFace損失とTASS-RoPEを採用したLTX-2用身份保持参照動画生成LoRA

news

AlissonerdxがLTX-Best-Face-IDをリリース。オーバーラップ条件付け、TASS-RoPEソース位相タグ付け、ArcFace身份損失を用いたLTX-2用参照-to-動画身份保持LoRA。ComfyUIで白背景不要。

Alisson Pereira@Alissonerdx)が LTX-Best-Face-ID をリリースしました。これは LTX-2(22B) 用の身份保持参照-to-動画LoRAです。参照写真とテキストプロンプトを入力するだけで、その人物の身份を維持した動画を生成します。白背景は不要です。

一枚の写真 + テキストプロンプト → 身份が一貫した動画。特殊な背景は不要。

出力サンプル

機能概要

LTX-Best-Face-ID は**参照-to-動画(ref_t2v)**生成を実行します:人物の参照画像1枚 → その同じ人物が記述されたアクションを行う動画。身份の注入は3つの技術が連携して実現します:

  1. オーバーラップ参照条件付け — 参照潜在表現が最初の生成フレームと frame-0 グリッド位置を共有
  2. TASS-RoPE ソース位相タグ付け — 異なる回転位置エンコーディング位相(「ソースタグ」)でモデルが参照と生成コンテンツを区別
  3. ArcFace 身份損失 — 学習時に、デコードされた顔を認識空間の参照埋め込みと比較

結果:白背景や多視点参照シートなどの従来のテクニックなしで身份の一貫性を実現。

TASS-RoPE の仕組み

技術的な革新は TASS-RoPETemporal-Adjacent Spatial-Shifted RoPE)で、Chen らの ST-DRC 論文(arXiv:2606.02441)に基づいています。単純な結合の代わりに、参照潜在表現は乗法的RoPE位相タグを取得します:

phase[d] = source_id · phase_scale · θ^(−d/L)
ターゲットトークン:source_id = 0(操作なし)
参照トークン:    source_id = 2(異なる回転「タグ」)

この「ソースタグ」により、アテンション機構がシーケンス内の誰が誰かを分離でき、身份転送を大幅に改善します。タグは位置的であるため、同じ機構で複数の参照(source_id 2, 3, 4...)をエレガントに処理し、複数被写体の条件付けが可能です。

ComfyUI での使用方法

コンパニオンの BFS Nodes が必要です:ComfyUI-BFSNodes

  1. ComfyUI Manager から ComfyUI-BFSNodes をインストール(依存関係は自動インストール)
  2. 通常通り LTX-2 チェックポイント + Gemma-3 テキストエンコーダー / CLIP を読み込む
  3. LTX Identity Transfer(オーバーラップ + ソース位相)ノードを追加し、参照画像を入力
  4. MODEL パスに LTX-Best-Face-ID LoRA を読み込む
  5. ref_t2v: を前置したプロンプトを書き、キューに入れる

プロンプトのコツ

  • 必ず ref_t2v: を前置 — モデルはこの形式で学習
  • アクション、設定、フレーミング、カメラを詳細に記述
  • 身份属性(肌の色、髪型、目、髭、眼鏡)を記述すると結果が顕著に向上
  • 付属のワークフローには Prompt Enhancer があり、Gemma-3 を使って身份属性を自動補完
ref_t2v: 色白で暗褐色の長髪、細い長方形メタルフレーム眼鏡の男性が
洗濯室で衣類を畳んでいる、ミディアムワイドショット。

最適な参照画像

このモデルは顔に焦点を当てた参照で学習:

  • クローズアップ / バストクロップ — 胸から上程度、顔が大きく明確に見える
  • 正面または正面に近い(3/4 アングルも可)
  • 単一被写体、中央
  • 白背景は不要だが、クリーンで明るいクロップが効果的

学習詳細

ベースモデルLTX-2(22B)
手法LoRA(rank 128, alpha 128)
条件付けオーバーラップ参照 + TASS-RoPE ソース位相
補助損失ArcFace 身份損失(+ 時間的一貫性)
データOpenS2V サブセット + HuMoSet(顔重視ペア)
互換性BFS Nodes 経由の ComfyUI

リンク

LTX-Best-Face-ID:ArcFace損失とTASS-RoPEを採用したLTX-2用身份保持参照動画生成LoRA | ComfyUI Wiki