LTX 2.3 CrossView Prompt IC-LoRA: 비디오 생성을 위한 가상 카메라 제어

news

Cseti가 LTX-Video 2.3용 새로운 IC-LoRA를 출시했습니다. 이 LoRA는 가상의 두 번째 카메라 역할을 하여 사용자가 간단한 텍스트 프롬프트를 사용해 새로운 카메라 각도로 비디오 장면을 다시 렌더링할 수 있게 해줍니다.

LTX-Video 2.3용 새로운 커뮤니티 학습 In-Context LoRA(IC-LoRA)가 AI 비디오 생성에 가상 카메라 제어를 도입합니다. 커뮤니티 개발자 Cseti가 만든 CrossView Prompt IC-LoRA는 '가상의 두 번째 카메라' 역할을 합니다. 참조 비디오와 짧은 카메라 각도 프롬프트를 받아 요청된 새로운 시점에서 동일한 장면을 다시 렌더링합니다.

작동 방식

LoRA는 세 가지 카메라 축을 기반으로 한 고정된 개별 프롬프트 어휘를 사용합니다.

  • 방위각 — 피사체 주위를 공전 (같은 각도, 약간 왼쪽/오른쪽, 왼쪽/오른쪽, 멀리 왼쪽/오른쪽)
  • 고도 — 카메라 높이 (더 낮게, 같은 높이, 더 높게)
  • 거리 — 피사체와의 근접도 (더 가깝게, 같은 거리, 더 멀게)

모든 프롬프트는 트리거 단어 crossview.로 시작해야 하며, 그 뒤에 템플릿이 옵니다:

crossview. new camera angle: to the right, lower, closer.

이를 통해 63개의 유효한 카메라 각도 조합에 접근할 수 있어 한 단계로 정밀한 시점 이동이 가능합니다.

예시 출력

LoRA는 원본 참조 비디오(위)와 생성된 새 카메라 뷰(아래)를 나란히 비교한 결과를 생성합니다. 예시 출력 비디오는 다음과 같은 카메라 이동을 보여줍니다:

  • 카메라를 오른쪽, 더 낮게, 피사체에 더 가깝게 이동
  • 왼쪽, 더 높게, 더 멀리 이동
  • 고도를 피사체 위에서 아래로 변경

ComfyUI 통합

이 LoRA는 ComfyUI 비디오 기반 비디오 생성 IC-LoRA 워크플로를 위해 설계되었습니다. 사용법은 간단합니다:

  1. ComfyUI에서 LTX2.3-22B_IC-LoRA-CrossView-Prompt_v0.9_13700.safetensors를 LoRA로 로드합니다.
  2. 참조 비디오(다시 촬영하려는 장면)를 제공합니다.
  3. 고정된 어휘를 사용하여 카메라 각도 프롬프트를 작성합니다.
  4. 생성합니다.

예시 워크플로는 동반 데이터셋 페이지에서 확인할 수 있습니다.

최상의 결과를 위한 팁

  • 작은 각도 변경이 가장 효과적입니다 — 모델은 단일 단계 이동에서 가장 신뢰할 수 있습니다. 더 큰 시점 변경이 필요한 경우 여러 개의 작은 단계를 연결하세요: 생성된 뷰를 새 참조로 다시 입력하고 다른 작은 각도를 적용합니다.
  • 증류 모델 사용자 — 몇 단계 증류 워크플로에서는 더 높은 LoRA 강도(1.2–1.5)를 시도하거나 첫 번째 비증류 패스에서 실행하세요.
  • 이 모델은 KlingTeam SynCamVideo 데이터셋의 294개 합성 카메라 쌍으로 LTX-Video 2.3(전체, 비증류)에서 학습되었습니다.

학습 세부 정보

매개변수
베이스 모델LTX-Video 2.3 (22B)
학습 프레임워크ltx-trainer (Lightricks)
LoRA 랭크 / 알파16 / 16
대상 모듈attn1, attn2 (to_k/q/v/out) — 어텐션만
학습 데이터셋294개 합성 멀티뷰 쌍 (SynCamVideo, Apache-2.0)
해상도768×768×81 @ 15fps

다운로드

LoRA는 Apache 2.0 라이선스로 Hugging Face에서 다운로드할 수 있습니다:

Cseti/LTX2.3-22B_IC-LoRA-CrossView-Prompt

LTX 2.3 CrossView Prompt IC-LoRA: 비디오 생성을 위한 가상 카메라 제어 | ComfyUI Wiki