Flux ControlNet

В этой статье собраны актуальные модели ControlNet для экосистемы Flux.

XLabs-AI/flux-controlnet-collections

XLabs-AI/flux-controlnet-collections — это коллекция чекпойнтов ControlNet, предоставленных для модели FLUX.1-dev. Этот репозиторий был разработан Black Forest Labs с целью расширения возможностей управления для экосистемы Flux.

Основные особенности:

1. Поддержка трёх моделей ControlNet:

   • Canny (обнаружение границ)
   • HED (обнаружение границ)
   • Depth (карта глубины, основана на Midas)

2. Все модели обучены на разрешении 1024x1024, подходят для генерации изображений 1024x1024.

3. Доступна версия v3 — улучшенная и более реалистичная, которую можно использовать напрямую в ComfyUI.

4. Предлагаются кастомные ноды и рабочие процессы для ComfyUI, что облегчает быстрый старт для пользователей.

5. В комплекте есть примеры изображений и результаты генерации, демонстрирующие возможности моделей.

Использование:

1. Использование через скрипт main.py из официального репозитория.
2. Использование предоставленных кастомных нод и рабочих процессов в ComfyUI, официальный workflow доступен по адресу https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows
3. Использование демо-интерфейса Gradio.

Лицензия:

Веса моделей распространяются по некоммерческой лицензии FLUX.1 [dev].

Ссылки:

• Репозиторий моделей: https://huggingface.co/XLabs-AI/flux-controlnet-collections
• GitHub-репозиторий: содержит рабочие процессы для ComfyUI, скрипты для обучения и демо-скрипты для инференса.

Ниже приведён список моделей ControlNet, представленных в репозитории XLabs-AI/flux-controlnet-collections:

Этот проект предоставляет мощные модели ControlNet для экосистемы Flux, позволяя пользователям более точно управлять процессом генерации изображений. Особенно хорошо подходит для задач, где требуется генерация изображений на основе обнаружения границ или информации о глубине.

InstantX Flux Union ControlNet

InstantX Flux Union ControlNet — это универсальная модель ControlNet, разработанная для FLUX.1-dev. Эта модель объединяет несколько режимов управления, позволяя пользователям более гибко контролировать процесс генерации изображений.

Основные особенности:

1. Множественные режимы управления: Поддержка различных режимов, включая обнаружение границ Canny, Tile, карту глубины, размытие, управление позой и др.

2. Высокая производительность: Большинство режимов управления показывают высокую эффективность, особенно Canny, Tile, карта глубины, размытие и управление позой.

3. Постоянная оптимизация: Команда разработчиков постоянно улучшает модель для повышения производительности и стабильности.

4. Совместимость: Полная совместимость с базовой моделью FLUX.1-dev, лёгкая интеграция в существующие рабочие процессы FLUX.

5. Мульти-контроль: Поддержка одновременного использования нескольких режимов управления для более тонкой настройки генерации изображений.

Использование:

1. Одиночный режим управления:

   • Загрузите модель Union ControlNet
   • Выберите нужный режим управления (например, Canny, карта глубины и т.д.)
   • Установите управляющее изображение и соответствующие параметры
   • Сгенерируйте изображение

2. Мульти-контроль:

   • Загрузите модель Union ControlNet как FluxMultiControlNetModel
   • Установите разные управляющие изображения и параметры для каждого режима
   • Примените несколько режимов управления одновременно для генерации изображения

Примечания:

• Текущая версия является бета-версией и может быть не полностью обучена, поэтому возможны некоторые недостатки.
• Некоторые режимы управления (например, управление по градациям серого) могут быть менее эффективны, рекомендуется отдавать приоритет наиболее эффективным режимам.
• По сравнению со специализированными однозадачными моделями ControlNet, Union-модель может показывать чуть худшие результаты в отдельных задачах, но обеспечивает большую гибкость и универсальность.

Ссылки на ресурсы:

• Скачать модель: InstantX/FLUX.1-dev-Controlnet-Union-alpha

Примечание: после скачивания модели рекомендуется переименовать файл в более понятное имя, например “flux_union_controlnet.safetensors”, для удобства управления и идентификации в будущем.

Эта Union ControlNet-модель предоставляет мощный и гибкий инструмент управления изображениями для экосистемы FLUX, особенно подходит для пользователей, которым нужно реализовать несколько функций управления в одной модели. Благодаря постоянной оптимизации и обновлениям, она может стать одной из самых универсальных и мощных моделей ControlNet на платформе FLUX.

InstantX Flux Canny ControlNet

В дополнение к Union ControlNet, InstantX также предоставляет отдельную модель ControlNet специально для обнаружения границ Canny. Эта модель фокусируется на использовании алгоритма Canny для управления процессом генерации изображений, предоставляя пользователям более точный контроль по границам.

Основные особенности:

1. Фокус на обнаружении границ Canny: Модель специально оптимизирована для Canny, что позволяет лучше обрабатывать и использовать информацию о границах.

2. Обучение на высоком разрешении: Модель обучалась в мульти-масштабной среде с общим числом пикселей 10241024, с батчем 88 и 30 тысячами шагов.

3. Совместимость с FLUX.1: Разработана для FLUX.1-dev, легко интегрируется в рабочие процессы FLUX.

4. Использует точность bfloat16: Модель использует bfloat16, что повышает вычислительную эффективность при сохранении точности.

Использование:

1. Установите последнюю версию библиотеки Diffusers.
2. Загрузите модель Flux Canny ControlNet и базовую модель FLUX.1.
3. Подготовьте входное изображение и примените к нему обнаружение границ Canny.
4. Используйте получённые границы как управляющий ввод для генерации изображения.

Серия Jasperai Flux.1-dev ControlNets

Jasperai разработал серию моделей ControlNet для Flux.1-dev, предназначенных для более точного управления генерацией изображений ИИ. В серию входят модели для нормалей поверхности, карты глубины и суперразрешения, предоставляя пользователям разнообразные инструменты для творчества.

Подробную информацию о моделях можно посмотреть на странице коллекции Jasperai на Hugging Face.

1. Модель ControlNet для нормалей поверхности

Модель ControlNet для нормалей поверхности использует карты нормалей для управления генерацией изображений. Модель специально оптимизирована для работы с информацией о нормалях поверхности, что позволяет лучше обрабатывать и использовать геометрию объектов.

Основные особенности:

• Фокус на обработке нормалей поверхности
• Предоставляет точную геометрическую информацию о поверхностях объектов
• Улучшает восприятие глубины и реалистичность изображения
• Совместима с FLUX.1-dev

2. Модель ControlNet для карты глубины

Модель ControlNet для карты глубины использует информацию о глубине для управления генерацией изображений. Модель оптимизирована для работы с картами глубины, что позволяет лучше понимать и использовать пространственную структуру сцены.

Основные особенности:

• Фокус на обработке карт глубины
• Предоставляет информацию о пространственной структуре сцены
• Улучшает перспективу и ощущение пространства на изображении
• Совместима с FLUX.1-dev

3. Модель ControlNet для суперразрешения

Модель ControlNet для суперразрешения предназначена для повышения качества низкокачественных изображений. Эта модель может преобразовывать изображения с низким разрешением в высокое, восстанавливая и улучшая детали.

Основные особенности:

• Фокус на обработке суперразрешения изображений
• Преобразует низкое разрешение в высокое
• Восстанавливает и улучшает детали изображения
• Совместима с FLUX.1-dev

Эти модели обеспечивают более точный контроль над генерацией изображений ИИ, позволяя создавать более реалистичные и детализированные изображения. Каждая модель предназначена для определённых задач обработки изображений, предоставляя пользователям широкий выбор инструментов для творчества. Пользователи могут выбрать подходящую модель в зависимости от своих задач для достижения различных эффектов генерации.