DeepSeek Janus Pro ComfyUI 워크플로우

Janus Pro는 DeepSeek이 2025년 1월 27일에 오픈소스로 공개한 멀티모달 모델로, 이미지 이해와 생성 능력을 동시에 가지고 있습니다.

본 튜토리얼은 https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro 플러그인을 기반으로, ComfyUI에서 DeepSeek Janus Pro를 사용하는 방법을 상세히 설명합니다.

Janus Pro ComfyUI 단계별 튜토리얼

1. ComfyUI-Janus-Pro 플러그인 설치

플러그인 주소: https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro 설치 방법:

• ComfyUI Manager에서 “Janus-Pro” 설치 (추천)
• ComfyUI-Janus-Pro 저장소에도 플러그인 설치에 대한 상세한 설명이 있습니다. 수동 설치 시 관련 의존성을 설치해야 합니다.
• 기타 설치 방법은 ComfyUI 플러그인 설치 튜토리얼을 참조하세요.

GitHub에 정상적으로 접속할 수 있는지 확인하세요.

2. DeepSeek Janus Pro 관련 모델 다운로드

이 단계에서는 DeepSeek Janus Pro 1B 또는 7B 모델을 다운로드해야 합니다.

DeepSeek Janus Pro 모델 다운로드 및 설치

모든 json 형식 파일과 .bin 형식의 모델 파일을 다운로드해야 합니다. 설치가 완료되면 해당 폴더 구조는 다음과 같습니다.

📁ComfyUI
├── 📁models
│   ├── 📁 Janus-Pro
│ ...   ├── 📁 Janus-Pro-1B 
│       │   ├── config.json
│       │   ├── preprocessor_config.json
│       │   ├── processor_config.json
│       │   ├── pytorch_model.bin
│       │   ├── special_tokens_map.json
│       │   ├── tokenizer.json
│       │   └── tokenizer_config.json
│       └── 📁 Janus-Pro-7B   
│           ├── config.json
│           ├── preprocessor_config.json
│           ├── processor_config.json
│           ├── pytorch_model-00001-of-00002.bin
│           ├── pytorch_model-00002-of-00002.bin
│           ├── pytorch_model.bin.index.json
│           ├── special_tokens_map.json
│           ├── tokenizer.json
│           ├── tokenizer.json
│           └── tokenizer_config.json

3. Janus Pro 워크플로우 파일 다운로드

이 워크플로우 노드는 이미지 설명과 이미지 생성을 포함합니다.

1. 번호 1에서 1B 또는 7B 모델을 선택하세요.
2. 번호 2에서 Janus Pro가 해석할 이미지를 업로드하세요.
3. 번호 3에서 이미지 설명을 위한 프롬프트를 조정할 수 있습니다. 저는 중국어, 영어, 일본어 입력을 테스트해보았는데 문제가 없었습니다. 하지만 특정 언어로 출력이 필요하다면 프롬프트에 일본어로 출력해주세요와 같은 요청을 명시하세요.
4. 번호 4는 텍스트를 표시하는 노드입니다. 여기서는 ComfyUI-Custom-Scripts 플러그인의 Show Text 노드를 사용했습니다.
5. 번호 5에서 이미지 생성을 위한 프롬프트를 입력하세요.

Janus Pro 관련 링크

Janus Pro Huggingface 모델 다운로드

Janus Pro Github 주소:

https://github.com/deepseek-ai/Janus

Huggingface Space에서 DeepSeek Janus Pro 체험하기

Chat With Janus 1.3B: https://huggingface.co/spaces/deepseek-ai/Janus-1.3B Chat With Janus Pro 7B: https://huggingface.co/spaces/deepseek-ai/Janus-Pro-7B Chat With Janus: https://huggingface.co/spaces/deepseek-ai/JanusFlow-1.3B

DeepSeek Janus-Pro ComfyUI 노드

ComfyUI-Janus-Pro 노드: https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro