DeepSeek Janus Pro ComfyUI Workflow

Janus Pro — это мультимодальная модель с открытым исходным кодом, представленная DeepSeek 27 января 2025 года. Она способна как понимать изображения, так и генерировать их.

Этот учебник основан на плагине https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro и содержит подробное руководство по установке и использованию DeepSeek Janus Pro в ComfyUI.

Пошаговое руководство по работе с Janus Pro в ComfyUI

1. Установка плагина ComfyUI-Janus-Pro

Репозиторий плагина: https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro
Способы установки:

• Установить через ComfyUI Manager, выбрав “Janus-Pro” (рекомендуется)
• В репозитории ComfyUI-Janus-Pro есть подробные инструкции по установке, особенно для ручной установки, где потребуется установить дополнительные зависимости.
• Для других способов установки смотрите руководство по установке плагинов ComfyUI.

Убедитесь, что ваше интернет-соединение позволяет получить доступ к GitHub.

2. Загрузка моделей DeepSeek Janus Pro

На этом этапе необходимо скачать модели DeepSeek Janus Pro 1B или 7B.

Загрузка и установка моделей DeepSeek Janus Pro

Необходимо скачать все файлы в формате json и файлы модели в формате .bin. После установки структура папок должна выглядеть так:

📁ComfyUI
├── 📁models
│   ├── 📁 Janus-Pro
│ ...   ├── 📁 Janus-Pro-1B 
│       │   ├── config.json
│       │   ├── preprocessor_config.json
│       │   ├── processor_config.json
│       │   ├── pytorch_model.bin
│       │   ├── special_tokens_map.json
│       │   ├── tokenizer.json
│       │   └── tokenizer_config.json
│       └── 📁 Janus-Pro-7B   
│           ├── config.json
│           ├── preprocessor_config.json
│           ├── processor_config.json
│           ├── pytorch_model-00001-of-00002.bin
│           ├── pytorch_model-00002-of-00002.bin
│           ├── pytorch_model.bin.index.json
│           ├── special_tokens_map.json
│           ├── tokenizer.json
│           ├── tokenizer.json
│           └── tokenizer_config.json

3. Загрузка workflow DeepSeek Janus Pro

Этот workflow включает как описание изображения, так и его генерацию.

1. В позиции 1 выберите модель 1B или 7B.
2. В позиции 2 загрузите изображение, которое вы хотите, чтобы Janus Pro интерпретировал.
3. В позиции 3 вы можете настроить промпт для описания изображения. Я тестировал ввод на китайском, английском и японском языках — проблем не возникло. Если вам нужен результат на определённом языке, укажите это в промпте, например: Пожалуйста, выведите результат на японском языке.
4. Позиция 4 — это узел отображения текста. Здесь используется узел Show Text из плагина ComfyUI-Custom-Scripts.
5. В позиции 5 введите промпт для генерации изображения.

Связанные ссылки Janus Pro

Загрузка моделей Janus Pro с Huggingface

Репозиторий Janus Pro на Github:

https://github.com/deepseek-ai/Janus

Попробовать DeepSeek Janus Pro на Huggingface Space

Chat With Janus 1.3B: https://huggingface.co/spaces/deepseek-ai/Janus-1.3B
Chat With Janus Pro 7B: https://huggingface.co/spaces/deepseek-ai/Janus-Pro-7B
Chat With Janus: https://huggingface.co/spaces/deepseek-ai/JanusFlow-1.3B

Узел DeepSeek Janus-Pro для ComfyUI

ComfyUI-Janus-Pro Node: https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro