DreamX-Creator 1.0: ComfyUI 설치 및 모델 가이드

첫 프레임과 텍스트 프롬프트가 주어지면, DreamX-Creator는 게이트 방식 크로스 모달 어텐션을 통해 모달리티별로 전문화된 비디오와 오디오 스트림을 공동으로 모델링합니다. 크로스 어텐션 가중치를 통해 각 모달리티가 다른 모달리티에 어텐션할 수 있으며, 학습된 게이트가 정보가 얼마나 흐를지 제어합니다. 점진적 조인트 학습은 립 무브먼트, 화면 속 동작, 사운드트랙이 사후에 이어 붙여지는 것이 아니라 동기화된 상태로 유지되도록 합니다. 이어서 오토리그레시브 1스텝 리파이너(SR-DiT, 5B)가 콘텐츠, 모션, 오디오 정렬 타이밍을 보존하면서 클립을 2K로 초고해상도화하며, 외부 비디오도 리파인할 수 있습니다.

설치

DreamX-Creator는 DreamX Creator T8의 네이티브 V3 노드를 통해 ComfyUI에서 실행됩니다. ComfyUI 매니저에서 노드 패키지를 설치하거나("DreamX Creator T8" 검색), ComfyUI/custom_nodes/에 복제한 뒤 ComfyUI를 시작하는 것과 동일한 Python으로 요구 사항을 설치하세요.

ComfyUI에서 바로 사용할 수 있는 가중치 번들을 공유 모델 디렉터리에 다운로드하세요:

hf download t8star/DreamX-Creator-Comfy --local-dir ComfyUI/models/dreamx_creator

로더의 model_root=auto는 저장소의 checkpoints/와 ComfyUI/models/dreamx_creator/를 검색합니다. 이 번들은 약 54 GB이며, 루트에 creator/, audio_vae/, refiner/, wan2.2_ti2v_5b/ 폴더가 직접 포함되어 있어야 합니다.

워크플로

생성 그래프는 완전한 로더, 두 개의 텍스트 인코더, 첫 프레임 오디오-비디오 잠재 데이터, AV flow shift(공개된 프리셋은 5.0 / 5.0), 멀티모달 가이드, 그리고 일반 스케줄링, 20 스텝, euler를 사용하는 FlowMatch 샘플러를 실행합니다. 이어서 AV 잠재 데이터 분할, 비디오 및 오디오 VAE 디코드, 비디오 내보내기가 수행됩니다. 별도의 리파이너 그래프는 오디오와 FPS를 보존하면서 2× 패스를 수행합니다. 요청된 길이는 Wan 호환 4N+1 프레임 수로 내림 처리됩니다.

노드 패키지에는 프런트엔드에서 가져올 수 있는 예제가 포함되어 있습니다(examples/dreamx_creator_ui.json은 첫 프레임에서 동기화된 비디오와 오디오를 생성하는 예제, examples/dreamx_refiner_ui.json은 2× 리파인먼트 패스 예제).

리소스

• DreamX-Creator 1.0 발표
• DreamX-Creator GitHub 저장소
• DreamX Creator T8 ComfyUI 노드
• ComfyUI용 가중치