Insert Anything: фреймворк с открытым исходным кодом для бесшовной вставки изображений

Insert Anything - это новый фреймворк редактирования изображений с открытым исходным кодом, совместно разработанный исследовательской командой (Wensong Song, Hong Jiang, Zongxing Yang, Ruijie Quan, Yi Yang) из Университета Чжэцзян, Гарвардского университета и Наньянского технологического университета. Этот фреймворк может бесшовно интегрировать объекты из референсных изображений в целевые сцены под пользовательским контрольным руководством.

Этот унифицированный фреймворк вставки изображений поддерживает множественные практические сценарии применения, включая художественное творчество, замену реальных лиц, композицию кинематографических сцен, виртуальную примерку одежды, кастомизацию аксессуаров и цифровую замену реквизита, полностью демонстрируя его универсальность и эффективность в различных задачах редактирования изображений.

Ключевые особенности

• Унифицированный фреймворк вставки: Нет необходимости обучать отдельные модели для разных задач, одна модель поддерживает множественные сценарии вставки
• Множественные методы контроля: Поддерживает управляемое редактирование на основе масок и текста
• Сохранение особенностей идентичности: Точный захват особенностей идентичности и тонких деталей, позволяя разнообразные локальные настройки в стиле, цвете и текстуре
• Механизм контекстного редактирования: Обрабатывает референсные изображения как контекстную информацию, используя две стратегии промптинга для гармоничного смешивания вставленных элементов с целевой сценой
• Поддержка версии с низким VRAM: Предоставляет версию 10GB VRAM на основе Nunchaku, удобную для обычных пользователей

Демонстрации применения

Создание мемов

Создание мемов - важный сценарий применения для Insert Anything. Вот некоторые сравнительные изображения:

Дизайн коммерческой рекламы

Дизайн коммерческой рекламы - еще один важный сценарий применения для Insert Anything. Вот некоторые сравнительные изображения:

Создание поп-культуры

Создание поп-культуры демонстрирует потенциал Insert Anything в генерации творческого контента:

Технические особенности

Insert Anything использует мультимодальный механизм внимания Diffusion Transformer (DiT), поддерживая как управляемое редактирование на основе масок, так и на основе текста. Согласно различным типам промптов, этот унифицированный фреймворк обрабатывает множественные входные изображения (комбинации референсных изображений, исходных изображений и масок) через замороженный VAE энкодер для сохранения высокочастотных деталей, и извлекает семантическое руководство из энкодеров изображений и текста. Эти эмбеддинги объединяются и вводятся в обучаемые DiT трансформерные блоки для контекстного обучения, позволяя точную и гибкую вставку изображений на основе масок или текстовых промптов.

Набор данных AnyInsertion

Для обучения этого унифицированного фреймворка исследовательская команда создала набор данных AnyInsertion, который содержит приблизительно 120 000 пар промпт-изображение, охватывающих различные задачи вставки, такие как вставка людей, объектов и одежды. Набор данных разделен на категории на основе масок и текста, каждая далее подразделяется на подкатегории аксессуаров, объектов и людей.

Пары изображений в наборе данных происходят из интернет-ресурсов, видео людей и многовидовых изображений. Набор данных охватывает различные сценарии вставки:

• Мебель и внутренняя отделка
• Повседневные предметы
• Одежда и аксессуары
• Транспортные средства
• Люди

Открытый исходный код и использование

Проект Insert Anything был открыт с исходным кодом на GitHub, и любой может свободно загрузить и использовать его:

• GitHub репозиторий: song-wensong/insert-anything
• Набор данных: WensongSong/AnyInsertion

Проект предоставляет множественные методы использования:

• Скрипты вывода командной строки
• Интерфейс Gradio
• Интеграционные узлы ComfyUI

Аппаратные требования

Insert Anything предлагает две версии:

• Стандартная версия: Требует 26GB или 40GB VRAM
• Легковесная версия: Оптимизированная версия на основе Nunchaku, требует только 10GB VRAM

Планы на будущее

Согласно информации официального GitHub репозитория, команда планирует:

• Выпустить код обучения
• Выпустить набор данных текстовых промптов AnyInsertion на HuggingFace

Связанные ссылки

• Страница проекта GitHub
• Набор данных AnyInsertion
• Техническая статья

Выпуск этого фреймворка с открытым исходным кодом предоставит творческим работникам, дизайнерам и создателям контента мощный инструмент для достижения более гибких и точных эффектов редактирования изображений.