LTX 2.3 CrossView Prompt IC-LoRA: 비디오 생성을 위한 가상 카메라 제어
news
Cseti가 LTX-Video 2.3용 새로운 IC-LoRA를 출시했습니다. 이 LoRA는 가상의 두 번째 카메라 역할을 하여 사용자가 간단한 텍스트 프롬프트를 사용해 새로운 카메라 각도로 비디오 장면을 다시 렌더링할 수 있게 해줍니다.
LTX-Video 2.3용 새로운 커뮤니티 학습 In-Context LoRA(IC-LoRA)가 AI 비디오 생성에 가상 카메라 제어를 도입합니다. 커뮤니티 개발자 Cseti가 만든 CrossView Prompt IC-LoRA는 '가상의 두 번째 카메라' 역할을 합니다. 참조 비디오와 짧은 카메라 각도 프롬프트를 받아 요청된 새로운 시점에서 동일한 장면을 다시 렌더링합니다.
작동 방식
LoRA는 세 가지 카메라 축을 기반으로 한 고정된 개별 프롬프트 어휘를 사용합니다.
- 방위각 — 피사체 주위를 공전 (같은 각도, 약간 왼쪽/오른쪽, 왼쪽/오른쪽, 멀리 왼쪽/오른쪽)
- 고도 — 카메라 높이 (더 낮게, 같은 높이, 더 높게)
- 거리 — 피사체와의 근접도 (더 가깝게, 같은 거리, 더 멀게)
모든 프롬프트는 트리거 단어 crossview.로 시작해야 하며, 그 뒤에 템플릿이 옵니다:
crossview. new camera angle: to the right, lower, closer.이를 통해 63개의 유효한 카메라 각도 조합에 접근할 수 있어 한 단계로 정밀한 시점 이동이 가능합니다.
예시 출력
LoRA는 원본 참조 비디오(위)와 생성된 새 카메라 뷰(아래)를 나란히 비교한 결과를 생성합니다. 예시 출력 비디오는 다음과 같은 카메라 이동을 보여줍니다:
- 카메라를 오른쪽, 더 낮게, 피사체에 더 가깝게 이동
- 왼쪽, 더 높게, 더 멀리 이동
- 고도를 피사체 위에서 아래로 변경
ComfyUI 통합
이 LoRA는 ComfyUI 비디오 기반 비디오 생성 IC-LoRA 워크플로를 위해 설계되었습니다. 사용법은 간단합니다:
- ComfyUI에서
LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors를 LoRA로 로드합니다. - 참조 비디오(다시 촬영하려는 장면)를 제공합니다.
- 고정된 어휘를 사용하여 카메라 각도 프롬프트를 작성합니다.
- 생성합니다.
예시 워크플로는 동반 데이터셋 페이지에서 확인할 수 있습니다.
최상의 결과를 위한 팁
- 작은 각도 변경이 가장 효과적입니다 — 모델은 단일 단계 이동에서 가장 신뢰할 수 있습니다. 더 큰 시점 변경이 필요한 경우 여러 개의 작은 단계를 연결하세요: 생성된 뷰를 새 참조로 다시 입력하고 다른 작은 각도를 적용합니다.
- 증류 모델 사용자 — 몇 단계 증류 워크플로에서는 더 높은 LoRA 강도(1.2–1.5)를 시도하거나 첫 번째 비증류 패스에서 실행하세요.
- 이 모델은 KlingTeam SynCamVideo 데이터셋의 294개 합성 카메라 쌍으로 LTX-Video 2.3(전체, 비증류)에서 학습되었습니다.
학습 세부 정보
| 매개변수 | 값 |
|---|---|
| 베이스 모델 | LTX-Video 2.3 (22B) |
| 학습 프레임워크 | ltx-trainer (Lightricks) |
| LoRA 랭크 / 알파 | 16 / 16 |
| 대상 모듈 | attn1, attn2 (to_k/q/v/out) — 어텐션만 |
| 학습 데이터셋 | 294개 합성 멀티뷰 쌍 (SynCamVideo, Apache-2.0) |
| 해상도 | 768×768×81 @ 15fps |
다운로드
LoRA는 Apache 2.0 라이선스로 Hugging Face에서 다운로드할 수 있습니다: