ComfyUI-LTXVideo: ComfyUI용 LTX 비디오 워크플로우 가이드

ComfyUI-LTXVideo를 설치하고 ComfyUI에서 LTX 비디오 워크플로우를 실행하세요: T2V(텍스트-투-비디오), I2V(이미지-투-비디오), V2V(비디오-투-비디오)와 모델 다운로드 링크 및 파라미터 팁을 제공합니다. LTX-2와 LTX-2.3을 네이티브로 지원합니다.

LTX Video 워크플로

LTX 비디오 모델 소개

LTX 비디오는 Lightricks의 첫 번째 DiT 기반 비디오 생성 모델로, 단 2B 파라미터만을 사용하며 다음과 같은 특징을 갖추고 있습니다:

  • 빠른 생성: 768x512 해상도와 24FPS로 비디오를 생성할 수 있습니다
  • 고품질 출력: 768x512 해상도와 24FPS로 부드러운 비디오 출력
  • 다양한 생성 모드: 텍스트 기반 비디오 생성, 이미지 기반 비디오 생성, 비디오 기반 비디오 변환을 지원합니다

LTX-2 및 LTX-2.3: 최신 버전

LTX-Video 2(LTX-2)는 이제 ComfyUI 코어에 내장되어 있으며, LTX-2.3은 Lightricks의 최신 오픈소스 오디오-비디오 생성 모델로 ComfyUI 네이티브 지원을 제공합니다. T2V, I2V, 오디오 기반 비디오, LoRA 제어 워크플로우는 공식 LTX-2.3 워크플로우 가이드를 참고하세요. 아래 가이드는 ComfyUI-LTXVideo 커스텀 노드를 사용한 원본 LTX-Video 2B 모델을 다룹니다.

설정 요구 사항

시스템 요구 사항

  • Python 3.10.5 이상
  • CUDA 12.2 이상
  • PyTorch >= 2.1.2

ComfyUI 환경

  1. ComfyUI 업데이트 먼저 ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요. ComfyUI 업데이트 방법이 궁금하다면 ComfyUI 업데이트 방법을 참조하세요.

  2. ComfyUI-LTXVideo 커스텀 노드 설치 설치 방법은 두 가지가 있습니다:

방법 1: ComfyUI 매니저를 통한 설치 (권장)

  1. ComfyUI 매니저를 엽니다
  2. "LTXVideo"를 검색합니다
  3. 설치를 클릭합니다

방법 2: 수동 설치

  1. ComfyUI의 custom_nodes 디렉터리로 이동합니다
  2. 저장소를 복제합니다:
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
  1. 의존성을 설치합니다:
pip install -r requirements.txt

플러그인 설치에 익숙하지 않다면 ComfyUI 플러그인 설치 가이드를 참조하세요.

필수 모델 다운로드

다음 모델 파일을 다운로드해야 합니다:

모델 이름파일 이름설치 경로다운로드 링크
LTX 비디오 모델ltx-video-2b-v0.9.safetensorsmodels/checkpointsHugging Face
PixArt 텍스트 인코더model-00001-of-00002.safetensorsmodels/text_encoders/PixArt-XL-2-1024-MS/text_encoderHugging Face
T5 텍스트 인코더t5xxl_fp16.safetensorsmodels/text_encodersHugging Face

참고:

  1. PixArt 텍스트 인코더는 전체 text_encoder 폴더 내용을 다운로드해야 합니다.
  2. T5 텍스트 인코더 파일은 크기가 큽니다(약 9.79GB). 다운로드 매니저 사용을 권장합니다.

워크플로 파일

텍스트 기반 비디오 생성 워크플로

LTX 비디오 텍스트 기반 비디오 생성 워크플로

이미지 기반 비디오 생성 워크플로

LTX 비디오 이미지 기반 비디오 생성 워크플로

비디오 기반 비디오 생성 워크플로

LTX 비디오 비디오 기반 비디오 생성 워크플로

LTX 비디오 사용 제한 사항

해상도 및 프레임 속도

  • 해상도는 32의 배수여야 합니다.
  • 프레임 속도는 8의 배수 + 1이어야 합니다 (예: 65 프레임, 257 프레임 등).
  • 권장 해상도는 720x1280을 초과하지 않아야 합니다.
  • 권장 프레임 수는 257 프레임을 초과하지 않아야 합니다.

프롬프트 가이드라인

  • 영어로 작성해야 합니다.
  • 프롬프트가 상세할수록 좋습니다.
  • 장면, 작업 및 세부 정보에 대한 완전한 설명을 포함하는 것이 좋습니다.

워크플로 사용 튜토리얼

기본 노드 설명

모든 워크플로우에는 다음 기본 노드가 포함됩니다:

  1. 모델 로딩 노드
  • LTXVLoader: 주요 LTX 비디오 모델 로드
    • ltx-video-2b-v0.9.safetensors 파일 선택
  • LTXVCLIPModelLoader: 텍스트 인코더 로드
    • PixArt-XL-2-1024-MS/text_encoder/model-00001-of-00002.safetensors 파일 선택
  • LTXVModelConfigurator: 모델 파라미터 구성
    • 해상도, 프레임 수, FPS 등의 기본 파라미터 설정
    • 조건화 입력을 선택적으로 활성화
  1. 프롬프트 처리 노드
  • CLIPTextEncode (Positive): 포지티브 프롬프트 인코딩
    • PixArt 인코더를 사용하여 포지티브 프롬프트 처리
  • CLIPTextEncode (Negative): 네거티브 프롬프트 인코딩
    • PixArt 인코더를 사용하여 네거티브 프롬프트 처리
  • CFGGuider: 프롬프트 가이드 강도 제어
    • 권장 값 범위: 2-7
    • 값이 클수록 생성된 콘텐츠가 프롬프트 설명에 더 가까워짐
  1. 샘플링 제어 노드
  • KSamplerSelect: 샘플러 선택
    • Euler 샘플러 사용 권장
  • BasicScheduler: 샘플링 단계 수 및 스케줄러 설정
    • 단계 범위: 10-25
    • 스케줄러 유형: normal
  • RandomNoise: 무작위 노이즈 생성
    • 재현 가능한 결과를 위해 고정 시드를 설정할 수 있음
  • SamplerCustomAdvanced: 샘플링 프로세스 실행
    • 최종 생성을 위한 모든 샘플링 관련 파라미터 통합
  1. 출력 노드
  • VAEDecode: 생성된 프레임 디코딩
    • LTX 비디오의 내장 VAE 디코더 사용
  • VHS_VideoCombine: 최종 비디오 결합
    • 출력 비디오 프레임 속도, 형식 및 인코딩 파라미터 설정
    • 생성된 비디오 미리보기 지원

LTX 비디오 생성 모드 튜토리얼

텍스트 기반 비디오 생성

  1. 기본 파라미터 설정 LTXVModelConfigurator에서:
  • 해상도: 768x512
  • 프레임 수: 65 (약 2.5초)
  • FPS: 25
  1. 프롬프트 작성
  • 포지티브 프롬프트는 장면, 동작, 세부 정보를 설명하도록 가능한 한 상세하게 작성하는 것이 좋습니다.
  • 네거티브 프롬프트에는 "worst quality, inconsistent motion, blurry, jittery, distorted, watermarks"를 포함하는 것이 권장됩니다.
  1. 샘플링 파라미터 조정
  • 단계: 권장 20단계
  • CFG: 권장 4-7
  • 샘플러: Euler
  • 스케줄러: Normal

이미지 기반 비디오 생성

기본 설정 외에도 다음이 필요합니다:

  1. 참조 이미지 준비
  • LoadImage 노드를 사용하여 참조 이미지를 로드합니다.
  • 이미지는 대상 해상도 비율과 일치하는 것이 이상적입니다.
  1. 변환 파라미터 조정
  • 참조 이미지와의 일관성을 유지하기 위해 CFG 값을 낮춥니다(권장 3-5).
  • 샘플링 단계를 적절히 줄일 수 있습니다(15-20).

비디오 기반 비디오 생성

  1. 소스 비디오 로드 VHS_LoadVideo 노드를 사용하여:
  • 적절한 프레임 속도를 설정합니다.
  • 해상도를 조정할지 여부를 선택합니다.
  1. 파라미터 조정
  • CFG 값을 낮춥니다(2-4).
  • 샘플링 단계를 줄입니다(10-15).
  • 필요에 따라 sigma_shift 파라미터를 조정합니다.

LTX 비디오 최적화 가이드

매개변수 최적화

  1. 프롬프트 최적화

    • 상세하고 구체적인 설명 사용
    • 동작 및 장면 전환에 대한 설명 포함
    • 영화 촬영 관련 어휘 추가

  2. 성능 최적화

    • 속도를 높이기 위해 해상도를 적절히 줄임
    • 테스트를 위해 프레임 수 감소
    • 샘플링 단계 수 줄임

  3. 품질 최적화

    • 흔들리는 이미지의 경우: CFG 값을 낮춤
    • 세부 정보가 부족한 경우: 샘플링 단계 수 증가
    • 부자연스러운 전환의 경우: 프롬프트 설명 최적화

LTX 비디오 고급 응용 팁

긴 비디오 제작

  • 여러 세그먼트를 개별적으로 생성
  • 프롬프트를 통해 스타일 일관성 유지
  • 후반 제작 스티칭을 위해 비디오 편집 도구 사용

스타일 제어

  • 프롬프트에 특정 예술적 스타일 설명 포함
  • 스타일을 안내하기 위해 참조 이미지 사용
  • CFG 값을 통해 스타일 강도 조정

동작 제어

  • 프롬프트에 동작 과정을 상세히 설명
  • 참조로 키프레임 사용
  • 원하는 효과를 위해 프레임 속도 적절히 조정

LTX 비디오 예제 및 템플릿

장면 예제

  1. 간단한 장면 전환

긍정적 프롬프트: "A serene lake at sunrise, gentle ripples on the water surface, morning mist slowly rising, birds flying across the golden sky" 샘플링 단계: 20 CFG: 4

  1. 복잡한 동작 시퀀스 긍정적 프롬프트: "A professional dancer performing a graceful contemporary dance sequence, flowing movements, dynamic spins and leaps, soft lighting, studio setting" 샘플링 단계: 25 CFG: 5

선호하는 매개변수 조합을 저장하여 나중에 사용할 수 있도록 하세요. 지속적인 실험과 조정을 통해 LTX 비디오 사용법을 점차 익힐 수 있습니다.

LTX 비디오 프롬프트 템플릿

The turquoise waves crash against the dark, jagged rocks of the shore, sending white foam spraying into the air. The scene is dominated by the stark contrast between the bright blue water and the dark, almost black rocks. The water is a clear, turquoise color, and the waves are capped with white foam. The rocks are dark and jagged, and they are covered in patches of green moss. The shore is lined with lush green vegetation, including trees and bushes. In the background, there are rolling hills covered in dense forest. The sky is cloudy, and the light is dim.

LTX Video 리소스 링크

LTX Video 공식 리소스

LTX Video 모델 다운로드

LTX Video 온라인 서비스

LTX Video 커뮤니티 리소스

지원 및 도움말

댓글

GitHub로 로그인하고 토론에 참여하세요.

댓글을 불러오는 중…