LTX-2.3 MSR V2: 다중 주제 참조 LoRA의 주요 품질 업그레이드

LiconStudio가 LTX-2.3용 Multiple Subject Reference (MSR) LoRA의 V2를 출시했습니다. V1에 대한 광범위한 커뮤니티 피드백을 바탕으로 일관성, 안정성, 장면 로직 전반에 걸쳐 상당한 개선을 제공합니다.

V1은 이미 최대 5개의 참조 주제를 단일 비디오에서 추적하는 다중 참조 비디오 생성을 위한 인기 솔루션이었지만, V2는 사용자들이 보고한 가장 일반적인 문제점(신원 변화(identity drift), 복잡한 구성에서의 시각적 아티팩트(visual artifacts), 부자연스러운 주체 상호작용)을 해결합니다.

V2의 새로운 기능

이 업데이트는 세 가지 핵심 영역을 대상으로 합니다.

1. 향상된 일관성

• 캐릭터 정체성, 의복, 객체 및 장면 세부 정보의 더 나은 보존
• 프레임 간 더 일관된 모양
• 여러 참조 이미지와 생성된 비디오 간의 정렬 개선
• 신원 변화 및 참조 속성 손실 감소

2. 향상된 안정성

• 반복된 샘플링 실행에서 더 신뢰할 수 있는 결과
• 시각적 아티팩트, 깜빡임 및 시간적 불일치 감소
• 복잡한 다중 주체 구성에서 더 안정적인 생성
• 주체 간 움직임 및 상호작용 처리 개선

3. 향상된 장면 로직

• 프롬프트에 설명된 공간적 및 행동 관계에 대한 더 나은 이해
• 더 자연스러운 주체 배치 및 상호작용
• 비디오 시작부터 끝까지의 시간적 진행 개선
• 캐릭터, 객체 및 배경의 더 일관된 구성

MSR 작동 방식

추가 인코더 브랜치나 퓨전 모듈이 필요한 기존의 다중 참조 접근 방식과 달리, MSR은 여러 정적 참조 이미지를 의사 비디오 시퀀스로 변환합니다. 이 시퀀스는 대상 비디오와 동일한 표현 공간을 공유하여 모델의 기존 셀프 어텐션 메커니즘을 통해 참조 토큰에 액세스할 수 있습니다. 추가 아키텍처 구성 요소가 필요하지 않습니다.

LoRA는 2~5개의 참조 이미지를 지원하며, 각 이미지는 주체 정체성, 객체 세부 정보, 장면 배경 또는 여러 시점과 같은 보완적인 의미 정보를 제공합니다.

사용법

LoRA를 사용하려면 ComfyUI-Licon-MSR 커스텀 노드 플러그인이 필요합니다. 이 플러그인은 여러 주체 이미지로부터 고정 프레임 MP4 참조 비디오를 생성합니다. 쉬운 실험을 위해 모델 파일에 샘플 워크플로가 포함되어 있습니다.

최상의 결과를 위한 팁

• 각 참조 이미지에 대해 간결하지만 정확한 설명을 사용하세요. 지나치거나 부족한 설명은 일관성을 떨어뜨릴 수 있습니다.
• 대상 비디오에서 각 참조 주체, 객체 또는 장면의 역할을 명확히 설명하세요.
• 높은 움직임의 장면에서는 더 부드러운 움직임 일관성을 위해 50fps를 권장합니다.
• 복잡한 다중 주체 상호작용은 여전히 여러 번의 샘플링 실행을 통해 이점을 얻을 수 있습니다.

이용 가능

V2 LoRA는 Apache 2.0 라이선스 하에 Hugging Face에서 이용할 수 있습니다.

모델: LiconStudio/LTX-2.3-Multiple-Subject-Reference
플러그인: ComfyUI-Licon-MSR
베이스 모델: Lightricks/LTX-2.3