Skip to content
ComfyUI Wiki
Помогите создать лучшую базу знаний ComfyUI Стать спонсором
НовостиInstantX выпускает модель IP-Adapter для FLUX.1-dev

InstantX выпускает модель IP-Adapter для FLUX.1-dev

22 ноября 2024 года команда InstantX официально открыла исходный код модели FLUX.1-dev IP-Adapter. Это реализация IP-Adapter на основе FLUX.1-dev, которая расширяет возможности работы с изображениями для модели FLUX.

Основные особенности FLUX.1-dev IP-Adapter

InstantX Releases FLUX.1-dev IP-Adapter Model

  • Использует google/siglip-so400m-patch14-384 в качестве энкодера изображений
  • Реализует простую двухслойную линейную модель MLPProjModel для проекции
  • Количество токенов изображения установлено на 128
  • Обучена на 10 миллионах открытых датасетов, размер батча 128, всего 80 000 шагов

Техническая реализация

В модели добавлены новые слои в 38 однослойных блоках и 19 двухслойных блоках. Для кодирования изображений выбран google/siglip-so400m-patch14-384, в первую очередь из-за его высокой производительности.

Способы использования

В настоящее время поддерживаются два основных способа использования:

  1. Прямой вызов через Python-код
  2. Использование плагина ComfyUI-IPAdapter-Flux в ComfyUI

Workflow для ComfyUI

InstantX предоставляет пример файла workflow для быстрой работы:

Онлайн-демонстрация

Пользователи могут опробовать FLUX.1-dev-IP-Adapter на следующих платформах:

Открытые ресурсы

Связанные ресурсы доступны в открытом доступе:

Ограничения использования

На данный момент у модели есть некоторые ограничения:

  • Не подходит для точной передачи стиля или сохранения консистентности персонажей
  • Необходим компромисс между утечкой контента и переносом стиля
  • Текущая версия может иметь ограниченное разнообразие результатов

Лицензия

Модель распространяется по лицензии flux-1-dev-non-commercial-license и доступна только для некоммерческого использования.

Этот релиз расширяет возможности экосистемы FLUX и может вдохновить сообщество на создание новых интересных приложений.