InstantX выпускает модель IP-Adapter для FLUX.1-dev
22 ноября 2024 года команда InstantX официально открыла исходный код модели FLUX.1-dev IP-Adapter. Это реализация IP-Adapter на основе FLUX.1-dev, которая расширяет возможности работы с изображениями для модели FLUX.
Основные особенности FLUX.1-dev IP-Adapter
- Использует google/siglip-so400m-patch14-384 в качестве энкодера изображений
- Реализует простую двухслойную линейную модель MLPProjModel для проекции
- Количество токенов изображения установлено на 128
- Обучена на 10 миллионах открытых датасетов, размер батча 128, всего 80 000 шагов
Техническая реализация
В модели добавлены новые слои в 38 однослойных блоках и 19 двухслойных блоках. Для кодирования изображений выбран google/siglip-so400m-patch14-384, в первую очередь из-за его высокой производительности.
Способы использования
В настоящее время поддерживаются два основных способа использования:
- Прямой вызов через Python-код
- Использование плагина ComfyUI-IPAdapter-Flux в ComfyUI
Workflow для ComfyUI
InstantX предоставляет пример файла workflow для быстрой работы:
Онлайн-демонстрация
Пользователи могут опробовать FLUX.1-dev-IP-Adapter на следующих платформах:
Открытые ресурсы
Связанные ресурсы доступны в открытом доступе:
- Скачать модель: FLUX.1-dev-IP-Adapter
- Плагин для ComfyUI: ComfyUI-IPAdapter-Flux
Ограничения использования
На данный момент у модели есть некоторые ограничения:
- Не подходит для точной передачи стиля или сохранения консистентности персонажей
- Необходим компромисс между утечкой контента и переносом стиля
- Текущая версия может иметь ограниченное разнообразие результатов
Лицензия
Модель распространяется по лицензии flux-1-dev-non-commercial-license и доступна только для некоммерческого использования.
Этот релиз расширяет возможности экосистемы FLUX и может вдохновить сообщество на создание новых интересных приложений.