Tencent Hunyuan и команда InstantX выпускают проект с открытым исходным кодом InstantCharacter
Tencent Hunyuan и команда InstantX совместно выпустили проект с открытым исходным кодом InstantCharacter, метод без настройки, разработанный для достижения генерации с сохранением персонажа из одного изображения, поддерживая различные нисходящие задачи. Проект обеспечивает генерацию согласованных изображений персонажей в различных сценах через простой подход “одно изображение + одно предложение”.
Основные особенности
Согласованность персонажей между сценами
InstantCharacter может поддерживать высокую согласованность особенностей внешности персонажа в различных сценах (таких как кухня, город), различных действиях (таких как бег, разговор) и различных перспективах на основе референсных изображений и текстовых описаний. Пользователям нужно только ввести одно изображение персонажа и настроить текстовые промпты для генерации согласованных картинок персонажа в различных средах.
Гибкие возможности контроля и редактирования
- Разделение позы и сцены: Поддерживает независимую настройку действий персонажа и фоновых сред
- Адаптация к множественным стилям: Совместим с различными художественными стилями, включая реалистичные, мультипликационные, киберпанк и т.д.
- Генерация, управляемая текстом: Просто измените промпты для быстрого переключения эффектов генерации
Эффективная архитектура генерации
Проект использует легковесную технологию для достижения переноса стиля через минимальные настройки параметров, значительно сокращая потребление вычислительных ресурсов и улучшая эффективность генерации.
Техническая инновация
InstantCharacter строит свой фреймворк генерации, используя Diffusion Transformer, прорывая ограничения традиционной архитектуры U-Net. Фреймворк вводит масштабируемые адаптерные модули для обработки особенностей персонажей открытой области и бесшовно взаимодействует с латентным пространством диффузионных моделей, эффективно улучшая способность обобщения модели и точность изображений.
Проект обучается на крупномасштабном наборе данных из десятков миллионов образцов, оптимизируя согласованность идентичности через парные данные и улучшая редактируемость текста через непарные данные, формируя уникальную стратегию двойного пути оптимизации.
Сценарии применения
InstantCharacter имеет широкие перспективы применения в множественных областях:
- Кино и анимация: Быстро генерировать эскизы раскадровки и концептуальные дизайны, сокращая циклы моделирования персонажей
- Разработка игр: Легко создавать IP производный контент расширения персонажей, такой как новые сюжетные сцены
- Создание комиксов: Эффективно генерировать многослойные динамические последовательности персонажей комиксов
- Личное творчество: Быстро создавать настраиваемые изображения для социальных сетей без профессионального опыта моделирования
Экосистема открытого исходного кода и ресурсы
InstantCharacter поддерживает модели генерации изображений из текста с открытым исходным кодом, такие как Flux, и предоставляет инструменты плагинов для разработчиков для расширения. Связанные ресурсы:
- Официальный веб-сайт и репозиторий кода: https://github.com/Tencent/InstantCharacter
- Онлайн-опыт на Hugging Face: https://huggingface.co/spaces/InstantX/InstantCharacter
- Домашняя страница проекта: https://instantcharacter.github.io/