Skip to content
튜토리얼ComfyUI 고급 튜토리얼4. LTX video

LTX 비디오 워크플로우 단계별 가이드

LTX 비디오 워크플로우

LTX 비디오 모델 소개

LTX 비디오는 혁신적인 DiT 아키텍처 비디오 생성 모델로, 2B 파라미터만을 사용하여 다음과 같은 기능을 제공합니다:

  • 실시간 생성: 실시간 재생보다 빠르게 비디오를 생성할 수 있습니다
  • 고품질 출력: 768x512 해상도와 24FPS로 부드러운 비디오 출력
  • 다양한 생성 모드: 텍스트-비디오, 이미지-비디오, 비디오-비디오 변환을 지원합니다

설정 요구사항

시스템 요구사항

  • Python 3.10.5 이상
  • CUDA 12.2 이상
  • PyTorch >= 2.1.2

ComfyUI 환경

  1. ComfyUI 업데이트 먼저, ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요. ComfyUI 업데이트 방법이 궁금하다면 ComfyUI 업데이트 방법을 참조하세요.

  2. ComfyUI-LTXVideo 커스텀 노드 설치 설치 방법은 두 가지가 있습니다:

방법 1: ComfyUI 매니저를 통한 설치 (권장)

  1. ComfyUI 매니저를 엽니다
  2. “LTXVideo”를 검색합니다
  3. 설치를 클릭합니다

방법 2: 수동 설치

  1. ComfyUI의 custom_nodes 디렉토리로 이동합니다
  2. 저장소를 클론합니다:
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
  1. Install dependencies:
pip install -r requirements.txt

플러그인 설치에 익숙하지 않다면 ComfyUI 플러그인 설치 가이드를 참조하세요.

필요한 모델 다운로드

다음 모델 파일을 다운로드해야 합니다:

모델 이름파일 이름설치 경로다운로드 링크
LTX 비디오 모델ltx-video-2b-v0.9.safetensorsmodels/checkpointsHugging Face
PixArt 텍스트 인코더model-00001-of-00002.safetensorsmodels/text_encoders/PixArt-XL-2-1024-MS/text_encoderHugging Face
T5 텍스트 인코더t5xxl_fp16.safetensorsmodels/text_encodersHugging Face

참고:

  1. PixArt 텍스트 인코더는 전체 text_encoder 폴더 내용을 다운로드해야 합니다.
  2. T5 텍스트 인코더 파일은 크기가 큽니다(약 9.79GB). 다운로드 매니저 사용을 권장합니다.

Workflow 파일

텍스트-비디오 Workflow

LTX 비디오 텍스트-비디오 Workflow

이미지-비디오 Workflow

LTX 비디오 이미지-비디오 Workflow

비디오-비디오 Workflow

LTX 비디오 비디오-비디오 Workflow

LTX 비디오 사용 제한 사항

해상도 및 프레임 속도

  • 해상도는 32의 배수여야 합니다.
  • 프레임 속도는 8의 배수 + 1이어야 합니다 (예: 65 프레임, 257 프레임 등).
  • 권장 해상도는 720x1280을 초과하지 않아야 합니다.
  • 권장 프레임 수는 257 프레임을 초과하지 않아야 합니다.

프롬프트 가이드라인

  • 영어로 작성해야 합니다.
  • 프롬프트가 상세할수록 좋습니다.
  • 장면, 동작 및 세부 사항에 대한 완전한 설명을 포함하는 것이 좋습니다.

Workflow 사용 튜토리얼

기본 노드 설명

모든 Workflow에는 다음 기본 노드가 포함됩니다:

  1. 모델 로딩 노드
  • LTXVLoader: 주요 LTX 비디오 모델 로드
    • ltx-video-2b-v0.9.safetensors 파일 선택
  • LTXVCLIPModelLoader: 텍스트 인코더 로드
    • PixArt-XL-2-1024-MS/text_encoder/model-00001-of-00002.safetensors 파일 선택
  • LTXVModelConfigurator: 모델 매개변수 구성
    • 해상도, 프레임 수, FPS 등의 기본 매개변수 설정
    • 조건 입력을 선택적으로 활성화
  1. 프롬프트 처리 노드
  • CLIPTextEncode (Positive): 긍정적 프롬프트 인코딩
    • PixArt 인코더를 사용하여 긍정적 프롬프트 처리
  • CLIPTextEncode (Negative): 부정적 프롬프트 인코딩
    • PixArt 인코더를 사용하여 부정적 프롬프트 처리
  • CFGGuider: 프롬프트 가이드 강도 제어
    • 권장 값 범위: 2-7
    • 값이 클수록 생성된 콘텐츠가 프롬프트 설명에 더 가까워짐
  1. 샘플링 제어 노드
  • KSamplerSelect: 샘플러 선택
    • Euler 샘플러 사용 권장
  • BasicScheduler: 샘플링 단계 수 및 스케줄러 설정
    • 단계 범위: 10-25
    • 스케줄러 유형: normal
  • RandomNoise: 랜덤 노이즈 생성
    • 재현 가능한 결과를 위해 고정 시드를 설정할 수 있음
  • SamplerCustomAdvanced: 샘플링 프로세스 실행
    • 최종 생성을 위한 모든 샘플링 관련 매개변수 통합
  1. 출력 노드
  • VAEDecode: 생성된 프레임 디코딩
    • LTX 비디오의 내장 VAE 디코더 사용
  • VHS_VideoCombine: 최종 비디오 결합
    • 출력 비디오 프레임 속도, 형식 및 인코딩 매개변수 설정
    • 생성된 비디오 미리보기 지원

LTX 비디오 생성 모드 튜토리얼

텍스트-비디오

  1. 기본 매개변수 설정 LTXVModelConfigurator에서:
  • 해상도: 768x512
  • 프레임 수: 65 (약 2.5초)
  • FPS: 25
  1. 프롬프트 작성
  • 긍정적 프롬프트는 가능한 한 상세하게 작성하여 장면, 동작 및 세부 사항을 설명해야 합니다.
  • 부정적 프롬프트에는 “worst quality, inconsistent motion, blurry, jittery, distorted, watermarks”를 포함하는 것이 좋습니다.
  1. 샘플링 매개변수 조정
  • 단계: 권장 20단계
  • CFG: 권장 4-7
  • 샘플러: Euler
  • 스케줄러: Normal

이미지-비디오

기본 설정 외에도 다음이 필요합니다:

  1. 참조 이미지 준비
  • LoadImage 노드를 사용하여 참조 이미지를 로드합니다.
  • 이미지는 이상적으로 목표 해상도 비율과 일치해야 합니다.
  1. 변환 매개변수 조정
  • 참조 이미지와의 일관성을 유지하기 위해 CFG 값을 낮춥니다(권장 3-5).
  • 샘플링 단계를 적절히 줄일 수 있습니다(15-20).

비디오-비디오

  1. 소스 비디오 로드 VHS_LoadVideo 노드를 사용하여:
  • 적절한 프레임 속도를 설정합니다.
  • 해상도를 조정할지 여부를 선택합니다.
  1. 매개변수 조정
  • CFG 값을 낮춥니다(2-4).
  • 샘플링 단계를 줄입니다(10-15).
  • 필요에 따라 sigma_shift 매개변수를 조정합니다.

LTX 비디오 최적화 가이드

매개변수 최적화

  1. 프롬프트 최적화

    • 상세하고 구체적인 설명 사용
    • 동작 및 장면 전환에 대한 설명 포함
    • 영화 촬영 관련 어휘 추가

  2. 성능 최적화

    • 속도를 높이기 위해 해상도를 적절히 줄임
    • 테스트를 위해 프레임 수 감소
    • 샘플링 단계 수 줄임

  3. 품질 최적화

    • 흔들리는 이미지의 경우: CFG 값을 낮춤
    • 세부 사항이 부족한 경우: 샘플링 단계 수 증가
    • 부자연스러운 전환의 경우: 프롬프트 설명 최적화

LTX 비디오 고급 응용 팁

긴 비디오 제작

  • 여러 세그먼트를 개별적으로 생성
  • 프롬프트를 통해 스타일 일관성 유지
  • 후반 제작 스티칭을 위해 비디오 편집 도구 사용

스타일 제어

  • 프롬프트에 특정 예술적 스타일 설명 포함
  • 스타일을 안내하기 위해 참조 이미지 사용
  • CFG 값을 통해 스타일 강도 조정

동작 제어

  • 프롬프트에 동작 과정을 상세히 설명
  • 참조로 키프레임 사용
  • 원하는 효과를 위해 프레임 속도 적절히 조정

LTX 비디오 예제 및 템플릿

장면 예제

  1. 간단한 장면 전환

긍정적 프롬프트: “A serene lake at sunrise, gentle ripples on the water surface, morning mist slowly rising, birds flying across the golden sky” 샘플링 단계: 20 CFG: 4

  1. 복잡한 동작 시퀀스 긍정적 프롬프트: “A professional dancer performing a graceful contemporary dance sequence, flowing movements, dynamic spins and leaps, soft lighting, studio setting” 샘플링 단계: 25 CFG: 5

선호하는 매개변수 조합을 저장하여 나중에 사용할 수 있도록 하세요. 지속적인 실험과 조정을 통해 LTX 비디오 사용을 점차 마스터하게 될 것입니다.

LTX 비디오 프롬프트 템플릿