LTX-2.3 MSR V2 : LoRA de référence multi-sujet bénéficie d'une amélioration majeure de la qualité

LiconStudio a publié la V2 de son LoRA de référence multi-sujet (MSR) pour LTX-2.3, apportant des améliorations significatives en termes de cohérence, de stabilité et de logique de scène basées sur les retours approfondis de la communauté depuis la V1.

Bien que la V1 soit déjà une solution populaire pour la génération vidéo multi-référence (gardant la trace de jusqu'à 5 sujets de référence dans une seule vidéo), la V2 répond aux problèmes les plus courants signalés par les utilisateurs : dérive d'identité, artefacts visuels dans les compositions complexes et interactions non naturelles entre les sujets.

Quoi de neuf dans la V2

La mise à jour cible trois domaines principaux :

1. Cohérence améliorée

• Meilleure préservation de l'identité des personnages, des vêtements, des objets et des détails de la scène
• Apparence plus cohérente entre les images
• Meilleur alignement entre plusieurs images de référence et la vidéo générée
• Réduction de la dérive d'identité et de la perte d'attributs de référence

2. Stabilité améliorée

• Résultats plus fiables sur des séries d'échantillonnage répétées
• Réduction des artefacts visuels, du scintillement et des incohérences temporelles
• Génération plus stable dans les compositions multi-sujets complexes
• Meilleure gestion du mouvement et des interactions entre les sujets

3. Logique de scène améliorée

• Meilleure compréhension des relations spatiales et d'action décrites dans les invites
• Positionnement et interaction plus naturels des sujets
• Progression temporelle améliorée du début à la fin d'une vidéo
• Composition plus cohérente des personnages, objets et arrière-plans

Comment fonctionne MSR

Contrairement aux approches multi-référence traditionnelles qui nécessitent des branches d'encodeur ou des modules de fusion supplémentaires, MSR transforme plusieurs images de référence statiques en une séquence pseudo-vidéo. Cette séquence partage le même espace de représentation que la vidéo cible, permettant aux jetons de référence d'être accédés via le mécanisme d'auto-attention existant du modèle : aucun composant architectural supplémentaire n'est nécessaire.

Le LoRA prend en charge 2 à 5 images de référence, chacune fournissant des informations sémantiques complémentaires telles que l'identité du sujet, les détails de l'objet, l'arrière-plan de la scène ou plusieurs points de vue.

Utilisation

Le LoRA nécessite le plugin de nœud personnalisé ComfyUI-Licon-MSR, qui gère la création de vidéos de référence MP4 à images fixes à partir de plusieurs images de sujets. Un workflow d'exemple est inclus dans les fichiers du modèle pour une expérimentation facile.

Conseils pour de meilleurs résultats

• Utilisez des descriptions concises mais précises de chaque image de référence : des descriptions excessives ou insuffisantes peuvent réduire la cohérence
• Décrivez clairement le rôle de chaque sujet, objet ou scène référencé dans la vidéo cible
• Pour les scènes à fort mouvement, 50 fps est recommandé pour une cohérence de mouvement plus fluide
• Les interactions complexes multi-sujets peuvent encore bénéficier de plusieurs séries d'échantillonnage

Disponibilité

Le LoRA V2 est disponible sur Hugging Face sous la licence Apache 2.0 :

Modèle : LiconStudio/LTX-2.3-Multiple-Subject-Reference
Plugin : ComfyUI-Licon-MSR
Modèle de base : Lightricks/LTX-2.3