Alibaba открывает исходный код ACE++: генерация изображений с согласованными персонажами без обучения

10 февраля 2025 — Исследовательский институт Alibaba официально объявил о выпуске с открытым исходным кодом инструмента генерации изображений нового поколения ACE++. На основе инновационных алгоритмов контекстно-осознанного заполнения пользователи могут создавать новые изображения с высокой согласованностью черт персонажа всего по одному входному изображению, поддерживается как онлайн-демо, так и локальное развертывание.

Ключевые технические инновации

Основные возможности

• Генерация без обучения: Использует базовую модель FLUX.1-Fill-dev, достигает развертывания без обучения благодаря адаптации LoRA
• Мультимодальное редактирование:
  • Изменение одежды персонажа (поддержка смены одежды/прически/аксессуаров)
  • Реконструкция сцены (замена фона/добавление или удаление объектов)
  • Умное восстановление (удаление дефектов/улучшение качества)
• Семантическое понимание: Может обрабатывать составные инструкции, например: «добавить пар к чашке кофе, поставить на деревянный стол»

Технические прорывы

• Long Context Unit (LCU): Одновременно обрабатывает содержимое изображения, текстовые инструкции и области редактирования
• Динамический механизм внимания: Достигает 92,3% сохранения признаков при разрешении 512×512
• Двухэтапная оптимизация: Пошаговое обучение, сочетающее базовое восстановление и специализированные навыки редактирования

Тестирование сценариев применения

| | | |

-|

-| | | |

Типовые применения

1. Виртуальная примерка одежды

   • Генерация отображения одежды под разными углами из плоских изображений
   • Поддержка динамической настройки тона кожи/телосложения/сцены

2. Дизайн персонажей для фильмов

   • Кросс-стилевое преобразование (реализм→Disney/cyberpunk)
   • Многосценная генерация с сохранением черт персонажа

3. Умное восстановление изображений

   • Восстановление старых фото в 4K-разрешении
   • Бесшовное удаление сложных помех

Каналы доступа к ресурсам

Официальные ссылки

| Тип ресурса | Ссылка | |

--|

-| | Домашняя страница проекта | https://ali-vilab.github.io/ACE_plus_page/ | | Репозиторий кода | GitHub | | Онлайн-демо | ModelScope |

Официальные ссылки для скачивания моделей

Специализированные адаптационные модели

| Тип модели | Имя файла | ModelScope | HuggingFace | |

|

--|

-|

| | Генерация портретов | comfyui_portrait_lora64.safetensors | Модель портрета | Модель портрета | | Перенос объектов | comfyui_subject_lora16.safetensors | Модель объекта | Модель объекта | | Локальное редактирование | comfyui_local_lora16.safetensors | Модель локального редактирования | Модель локального редактирования |

Базовые модели-зависимости

| Имя модели | Канал загрузки | |

|

--| | FLUX.1-Fill-dev | HuggingFace | | Flux-Fill FP8 | CivitAI |

Перспективы технического развития

Текущая версия всё ещё требует доработки при работе со сложными объектами (точность деталей рук 62,3%) и поддержке китайского текста. Команда разработчиков планирует запустить функцию редактирования видео по кадрам в третьем квартале 2025 года и выпустить полную модель ACE++ Fully к концу года.

Пожалуйста, дождитесь файлов workflow после тестирования на ComfyUI Wiki для обновления контента Смотреть обновления workflow