Tencent Hunyuan и команда InstantX выпускают проект с открытым исходным кодом InstantCharacter

Tencent Hunyuan и команда InstantX совместно выпустили проект с открытым исходным кодом InstantCharacter, метод без настройки, разработанный для достижения генерации с сохранением персонажа из одного изображения, поддерживая различные нисходящие задачи. Проект обеспечивает генерацию согласованных изображений персонажей в различных сценах через простой подход “одно изображение + одно предложение”.

Основные особенности

Согласованность персонажей между сценами

InstantCharacter может поддерживать высокую согласованность особенностей внешности персонажа в различных сценах (таких как кухня, город), различных действиях (таких как бег, разговор) и различных перспективах на основе референсных изображений и текстовых описаний. Пользователям нужно только ввести одно изображение персонажа и настроить текстовые промпты для генерации согласованных картинок персонажа в различных средах.

Гибкие возможности контроля и редактирования

• Разделение позы и сцены: Поддерживает независимую настройку действий персонажа и фоновых сред
• Адаптация к множественным стилям: Совместим с различными художественными стилями, включая реалистичные, мультипликационные, киберпанк и т.д.
• Генерация, управляемая текстом: Просто измените промпты для быстрого переключения эффектов генерации

Эффективная архитектура генерации

Проект использует легковесную технологию для достижения переноса стиля через минимальные настройки параметров, значительно сокращая потребление вычислительных ресурсов и улучшая эффективность генерации.

Техническая инновация

InstantCharacter строит свой фреймворк генерации, используя Diffusion Transformer, прорывая ограничения традиционной архитектуры U-Net. Фреймворк вводит масштабируемые адаптерные модули для обработки особенностей персонажей открытой области и бесшовно взаимодействует с латентным пространством диффузионных моделей, эффективно улучшая способность обобщения модели и точность изображений.

Проект обучается на крупномасштабном наборе данных из десятков миллионов образцов, оптимизируя согласованность идентичности через парные данные и улучшая редактируемость текста через непарные данные, формируя уникальную стратегию двойного пути оптимизации.

Сценарии применения

InstantCharacter имеет широкие перспективы применения в множественных областях:

• Кино и анимация: Быстро генерировать эскизы раскадровки и концептуальные дизайны, сокращая циклы моделирования персонажей
• Разработка игр: Легко создавать IP производный контент расширения персонажей, такой как новые сюжетные сцены
• Создание комиксов: Эффективно генерировать многослойные динамические последовательности персонажей комиксов
• Личное творчество: Быстро создавать настраиваемые изображения для социальных сетей без профессионального опыта моделирования

Экосистема открытого исходного кода и ресурсы

InstantCharacter поддерживает модели генерации изображений из текста с открытым исходным кодом, такие как Flux, и предоставляет инструменты плагинов для разработчиков для расширения. Связанные ресурсы:

• Официальный веб-сайт и репозиторий кода: https://github.com/Tencent/InstantCharacter
• Онлайн-опыт на Hugging Face: https://huggingface.co/spaces/InstantX/InstantCharacter
• Домашняя страница проекта: https://instantcharacter.github.io/

Связанные ссылки

• Страница проекта InstantCharacter
• Онлайн-демо на Hugging Face