Kandinsky 6.0: ComfyUI 설정 및 모델 가이드
ComfyUI에서 Kandinsky 6.0 실행하기: 29B Pro와 3B Lite가 동기화된 44 kHz 오디오와 함께 5초 비디오를 생성하며, Full HD를 위한 초해상도 모델도 제공합니다.
Kandinsky 6.0
비디오 생성오디오-비디오텍스트 기반 비디오 생성이미지 기반 비디오 생성ComfyUIKandinsky 6.0 Video는 동기화된 텍스트-오디오-비디오 생성을 위한 파운데이션 diffusion 모델 제품군입니다. Pro(29B)와 Lite(3B) 모두 립싱크를 포함한 동기화된 44 kHz 오디오와 함께 5초 클립을 생성하며, 텍스트 기반 오디오-비디오 및 이미지 기반 오디오-비디오 모드를 지원하고, 별도의 초해상도 모델이 출력을 Full HD로 끌어올립니다.
| 개발사 | Kandinsky Lab |
| 출시 날짜 | 2026-10-06 (오픈 웨이트) |
| 아키텍처 | flow matching을 사용하는 멀티모달 비디오 및 오디오 diffusion 트랜스포머 (29B Pro, 3B Lite) |
| 텍스트 인코더 | CLIP pooled embedding을 사용하는 Qwen2.5-VL |
| 오디오 | MMAudio VAE와 BigVGAN 스타일 보코더, 동기화된 44 kHz 출력 |
| 출력 | 24 fps의 5초 클립, 초해상도 이후 최대 Full HD |
| 생성 모드 | 텍스트 기반 오디오-비디오, 이미지 기반 오디오-비디오 |
| 라이선스 | MIT |
Kandinsky 6.0 Video는 이후에 오디오를 더빙하는 방식이 아니라 한 번의 패스로 이미지와 사운드트랙을 함께 생성합니다. 멀티모달 비디오 및 오디오 diffusion 트랜스포머가 두 스트림을 모두 모델링하며, Qwen2.5-VL 텍스트 인코더가 토큰 수준 텍스트 embedding을, CLIP 모델이 pooled embedding을 제공합니다. 시각적 부분은 hunyuan 비디오 VAE를 통해 디코딩되고, 오디오 부분은 MMAudio VAE와 BigVGAN 스타일 보코더를 통해 44 kHz 파형을 출력합니다. 샘플링은 shift = 5.0인 flow matching을 사용합니다.
모델
이 제품군은 두 가지 크기로 제공되며, 각각 base, 10스텝으로 증류된 distilled, 사전 학습된 checkpoint와 함께 전용 초해상도 쌍을 갖춥니다:
| Checkpoint | 크기 | 비고 |
|---|---|---|
| Kandinsky 6.0 Pro | 29B | 최상위 생성 checkpoint |
| Kandinsky 6.0 Pro distill | 29B | PiFlow로 10스텝으로 증류됨, ComfyUI 템플릿에서 기본으로 사용 |
| Kandinsky 6.0 Pro pretrain | 29B | 파인튜닝을 위한 사전 학습 base |
| Kandinsky 6.0 Lite | 3B | 소형 생성 checkpoint |
| Kandinsky 6.0 Lite distill | 3B | 증류된 10스텝 변형 |
| Kandinsky 6.0 Lite pretrain | 3B | 파인튜닝을 위한 사전 학습 base |
| Kandinsky 6.0 VSR | - | 초해상도 pipeline, x2, x2.25, x4, 타일당 4스텝 |
| Kandinsky 6.0 VSR distill | - | 증류된 초해상도, 타일당 2스텝 |
초해상도
Kandinsky6SRPipeline은 K-VAE 잠재 공간에서 타일드 diffusion으로 생성된 프레임을 업스케일하고, 겹치는 타일을 Hann 윈도로 블렌딩합니다. resolution_scale은 2, 2.25(생성 이후의 기본 경로) 또는 4를 받으며, min_overlap과 tiles_batch_size는 속도를 위해 타일 블렌딩과 VRAM을 절충합니다.
ComfyUI
공식 ComfyUI 확장은 kandinskylab이 ComfyUI Registry에 kandinsky6과 kandinsky6-sr로 게시했습니다. ComfyUI Manager를 통해 두 가지를 모두 설치하고 재시작한 뒤, 워크플로 → 템플릿 탐색 → kandinsky6을 열면 포함된 Text to Video+Audio 및 Image to Video+Audio 템플릿을 사용할 수 있습니다. 함께 제공되는 Diffusers JSON config를 포함한 모델 파일은 확장의 Download models 버튼으로 올바른 ComfyUI 폴더에 다운로드됩니다.
리소스
Guides and workflows related to this model series.
댓글
GitHub로 로그인하고 토론에 참여하세요.