CrossView IC-LoRA: LTX-2.3 비디오에서 카메라 뷰포인트를 프롬프트 제어로 변경하기
Cseti가 LTX-2.3용 개념 증명 IC-LoRA를 출시했습니다. 이 LoRA는 가상의 두 번째 카메라 역할을 하여, 기존 비디오 영상의 카메라 각도를 이산적인 프롬프트 어휘를 사용하여 변경할 수 있습니다.
Cseti가 LTX-Video 2.3용 개념 증명 어댑터인 CrossView IC-LoRA를 출시했습니다. 이 어댑터는 가상의 두 번째 카메라 역할을 합니다. 참조 비디오와 카메라 각도 프롬프트를 제공하면, 요청된 새 뷰포인트에서 동일한 장면을 다시 렌더링합니다. 즉, 카메라 위치를 변경하면서도 피사체와 콘텐츠를 유지합니다.
이 LoRA는 합성 멀티뷰 데이터(Unreal Engine 5에서 렌더링된 SynCamVideo 데이터셋)로 학습되었지만, 실제 영상에서도 인상적인 결과를 보여주며 일반화됩니다. v0.9 개념 증명으로 명확한 한계가 있지만, 초기 커뮤니티 테스트에 따르면 이미 "꽤 좋은" 출력물을 생성합니다.
모델 페이지의 예시 결과는 다양한 각도에서 재렌더링된 장면을 보여줍니다. 전사를 오른쪽 아래에서 본 모습, 수중 장면을 오른쪽 멀리서 본 모습, 자동차를 오른쪽 가까이서 본 모습 등이 있습니다.
| 참조 | 생성됨 (프롬프트: 오른쪽, 아래, 가까이) |
|---|---|
| 예시 1: 전사 | 예시 2: 수중 |
| 예시 3: 자동차 | 예시 4: 롤러스케이트 |
전체 쇼케이스 몽타주는 Hugging Face 모델 페이지에서 확인하세요.
작동 방식
깊이 맵이나 3D 형상이 필요한 기존 카메라 제어 방식과 달리, CrossView는 인컨텍스트 LoRA(IC-LoRA) 접근 방식을 사용합니다. 참조 비디오는 모델의 어텐션 메커니즘을 통해 조건화되며, 이산적인 프롬프트 어휘가 모델에 가상 카메라를 어디로 이동할지 지시합니다.
프롬프트 어휘
이 모델은 고정된 이산 카메라 어휘를 사용합니다. 모든 프롬프트는 트리거 crossview.로 시작해야 하며, 그 뒤에 템플릿이 옵니다.
crossview. new camera angle: {azimuth}, {elevation}, {distance}.| 축 | 허용되는 구문 |
|---|---|
| 방위각 (피사체 주위를 공전) | same angle · slightly to the left · slightly to the right · to the left · to the right · far to the left · far to the right |
| 고도 (카메라 높이) | lower · same height · higher |
| 거리 (피사체까지) | closer · same distance · further |
프롬프트 예시:
crossview. new camera angle: to the right, lower, closer.
crossview. new camera angle: to the left, higher, further.
crossview. new camera angle: same angle, same height, closer.사용 팁
- 작은 단계로 진행하는 것이 가장 좋습니다. 큰 시점 변화가 필요할 경우, 여러 번의 작은 각도 변경을 연결하세요. 생성된 뷰를 새로운 참조로 다시 입력하고 다른 작은 각도를 적용하세요.
- 증류된 모델에서의 LoRA 강도: 이 LoRA는 완전한(비증류) LTX-2.3에서 학습되었습니다. 증류된 소수 스텝 워크플로에서는 LoRA 강도를 1.2~1.5로 설정하거나, 첫 번째 비증류 패스에서 실행하세요.
- 어휘에서 정확한 구문을 사용하세요. 모델은 이 특정 어휘를 학습했습니다. "45도 왼쪽"과 같은 동의어는 덜 안정적으로 작동합니다.
학습 세부 정보
| 매개변수 | 값 |
|---|---|
| 베이스 모델 | LTX-Video 2.3 (22B) |
| 학습 프레임워크 | ltx-trainer (Lightricks) |
| LoRA 랭크 / 알파 | 16 / 16 |
| 타겟 모듈 | attn1, attn2 (to_k/q/v/out) — 어텐션 전용 |
| 학습 데이터셋 | SynCamVideo에서 선별된 294개의 카메라 쌍 |
| 해상도 | 768×768×81 @ 15fps |
| 라이선스 | Apache 2.0 |
이용 가능성
LoRA는 Apache 2.0 라이선스 하에 Hugging Face에서 제공됩니다.
모델: Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt
예시 워크플로: ComfyUI 워크플로
베이스 모델: Lightricks/LTX-2.3