Tencent открывает исходный код модели цифрового человека с речевым управлением HunyuanVideo-Avatar

Команда Hunyuan от Tencent недавно открыла исходный код модели цифрового человека с речевым управлением HunyuanVideo-Avatar. Эта модель может автоматически генерировать естественные и плавные видео цифрового человека из одного портретного изображения и аудио клипа, заставляя персонажа на изображении говорить или петь. Будь то для создания коротких видео, рекламы электронной коммерции или виртуальных ведущих, HunyuanVideo-Avatar предоставляет удобный опыт генерации видео цифрового человека для создателей контента и бизнеса.

Видео демонстрации

• Многосценная женская соло:

• Пример многосценного диалога:

• Демонстрация многостилевого персонажа:

Ключевые особенности

• Динамическая генерация видео из одного изображения и аудио: Пользователям нужно только загрузить портретное изображение и аудио клип. Модель автоматически понимает контент и генерирует естественные видео говорения или пения, включая мимику, синхронизацию губ и движения всего тела.
• Высокая точность и динамическая производительность: Поддерживает высококачественные, динамические видео цифрового человека, охватывающие движения головы, половины тела и всего тела.
• Поддержка многостилевых, многовидовых и двухперсональных сценариев: Не только поддерживает реальных людей, но также может генерировать динамические видео в различных художественных стилях (таких как аниме, живопись тушью) и разных видах (таких как роботы, животные), поддерживая многоперсональное взаимодействие.
• Перенос и контроль эмоций: Может извлекать эмоциональные сигналы из референсных изображений и переносить их в сгенерированное видео, обеспечивая детальный контроль эмоционального стиля.
• Согласованность персонажа: Через модуль инъекции изображения персонажа обеспечивает высокую согласованность и естественную динамику персонажа в сгенерированном видео.
• Лицевая адаптация аудио: В многоперсональных сценариях использует лицевую адаптер аудио для независимого аудио управления, поддерживая многоперсональные диалоги.

Сценарии применения

• Прямые трансляции электронной коммерции: Цифровые человеческие ведущие представляют продукты, улучшая интерактивный опыт.
• Онлайн стриминг: Создание контента виртуальных ведущих и виртуальных идолов.
• Видео в социальных сетях: Индивидуальные лица и создатели могут легко делать увлекательные короткие видео цифрового человека.
• Создание и редактирование контента: Предоставляет инструменты генерации динамического видео для областей как аниме и игры.
• Активация культурного наследия: Оживляет исторические фигуры и артефакты как цифровых людей.

Связанные ссылки

• Домашняя страница проекта
• Исходный код GitHub
• Страница модели HuggingFace
• Технический отчет (arXiv)