ByteDance выпускает OmniHuman: фреймворк анимации человека следующего поколения

Исследовательская команда ByteDance недавно (3 февраля) выпустила “OmniHuman-1” — фреймворк генерации анимации человека. Это исследование было опубликовано в статье “OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models”, демонстрируя последние достижения в генерации анимации человека.

• Домашняя страница проекта: https://omnihuman-lab.github.io/

Ключевые особенности OmniHuman

OmniHuman — это сквозной мультимодальный условный фреймворк генерации видео человека со следующими особенностями:

• Упрощенные требования к вводу: Требует только одно изображение человека и сигналы движения (такие как аудио или видео) для генерации анимации человека
• Гибкая поддержка ввода: Может обрабатывать изображения любого соотношения сторон, включая портреты, полуфигуры и полные фигуры
• Разнообразные методы управления: Поддерживает управление движением через текст, аудио, видео и другие средства
• Детальная производительность: Отличная производительность в деталях, таких как движения рук и синхронизация губ

Техническая реализация

Исследовательская команда приняла инновационную стратегию смешанного условного обучения:

1. Использует архитектуру DiT в качестве основы, интегрируя возможности обработки множественных управляющих сигналов
2. Проектирует механизм Omni-Conditions, объединяя аудио, позы и другие признаки
3. Применяет многоэтапный метод обучения для балансировки различных условий
4. Обучающий датасет включает 18,7 тыс. часов данных, связанных с человеком

Потенциальные применения

Сценарии применения OmniHuman включают:

• Производство виртуальных ведущих
• Выступления цифровых людей
• Создание видеоконтента
• Аватары для удаленных встреч

Текущий статус

В настоящее время OmniHuman недоступен для скачивания или использования. Исследовательская команда указывает, что они предоставят больше обновлений в будущем.

Ссылки на ресурсы

• Домашняя страница проекта: https://omnihuman-lab.github.io/
• Ссылка на статью: OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models