LTX-Best-Face-ID : LoRA de référence vers vidéo avec préservation d'identité pour LTX-2 avec perte ArcFace et TASS-RoPE

Alisson Pereira (@Alissonerdx) a publié LTX-Best-Face-ID, un LoRA de référence vers vidéo avec préservation d'identité pour LTX-2 (22B). Fournissez une photo de référence et un prompt texte, et il génère une vidéo qui conserve l'identité de cette personne — le tout à partir d'une seule image, sans nécessiter de fond blanc.

Une photo + un prompt texte → vidéo à l'identité cohérente. Pas de fond spécial nécessaire.

Exemples de rendus

Fonctionnement

LTX-Best-Face-ID effectue une génération référence vers vidéo (ref_t2v) : une image de référence d'une personne → une vidéo de cette même personne effectuant l'action décrite. L'identité est injectée via trois techniques fonctionnant ensemble :

Conditionnement par chevauchement de référence — le latent de référence partage la position de la grille frame-0 avec la première image générée
Marquage de phase source TASS-RoPE — une phase d'encodage positionnel rotatoire distincte ("marqueur source") permet au modèle de distinguer la référence du contenu généré
Perte d'identité ArcFace — pendant l'entraînement, le visage décodé est comparé à l'embedding de référence dans l'espace de reconnaissance

Résultat : une cohérence d'identité sans les astuces habituelles comme les fonds blancs ou les feuilles de référence multi-vues.

Comment fonctionne TASS-RoPE

L'innovation technique est TASS-RoPE (Temporal-Adjacent Spatial-Shifted RoPE), de l'article ST-DRC de Chen et al. (arXiv:2606.02441). Au lieu d'une simple concaténation, le latent de référence reçoit un marqueur de phase RoPE multiplicatif :

phase[d] = source_id · phase_scale · θ^(−d/L)
tokens cibles : source_id = 0 (sans opération)
référence :    source_id = 2 ("marqueur" rotatoire distinct)

Ce "marqueur source" permet au mécanisme d'attention de séparer qui est qui dans la séquence, améliorant considérablement le transfert d'identité. Comme le marqueur est positionnel, le même mécanisme gère élégamment plusieurs références (source_id 2, 3, 4...) pour le conditionnement multi-sujet.

Utilisation dans ComfyUI

Nécessite les BFS Nodes compagnons : ComfyUI-BFSNodes

Installer ComfyUI-BFSNodes via ComfyUI Manager (les dépendances s'installent automatiquement)
Charger le checkpoint LTX-2 + l'encodeur de texte Gemma-3 / CLIP comme d'habitude
Ajouter le nœud LTX Identity Transfer (chevauchement + phase source) ; lui fournir l'image de référence
Charger le LoRA LTX-Best-Face-ID sur le chemin MODEL
Écrire un prompt préfixé par ref_t2v: et mettre en file d'attente

Conseils pour les prompts

Toujours préfixer par ref_t2v: — le modèle a été entraîné avec ce format
Décrire l'action, le décor, le cadrage, la caméra en détail
Décrire les attributs d'identité (teint, cheveux, yeux, barbe, lunettes) améliore nettement les résultats
Le workflow inclus a un Prompt Enhancer qui utilise Gemma-3 pour enrichir automatiquement votre prompt avec des attributs d'identité

ref_t2v: Un homme à la peau claire avec de longs cheveux brun foncé et des
lunettes métalliques rectangulaires étroites plie du linge dans une buanderie, plan moyen.

Meilleure image de référence

Ce modèle a été entraîné sur des références centrées sur le visage :

Gros plan / cadrage buste — environ de la poitrine vers le haut, visage grand et clairement visible
Frontal ou presque frontal (angles 3/4 acceptables)
Un seul sujet, centré
Pas de fond blanc requis mais un recadrage propre et bien éclairé aide

Détails d'entraînement


Modèle de base	LTX-2 (22B)
Méthode	LoRA (rank 128, alpha 128)
Conditionnement	Référence superposée + phase source TASS-RoPE
Perte auxiliaire	Perte d'identité ArcFace (+ cohérence temporelle)
Données	Sous-ensemble OpenS2V + HuMoSet (paires centrées visage)
Compatible avec	ComfyUI via BFS Nodes