ByteDance выпускает OmniHuman: фреймворк анимации человека следующего поколения
Исследовательская команда ByteDance недавно (3 февраля) выпустила “OmniHuman-1” — фреймворк генерации анимации человека. Это исследование было опубликовано в статье “OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models”, демонстрируя последние достижения в генерации анимации человека.
- Домашняя страница проекта: https://omnihuman-lab.github.io/
Ключевые особенности OmniHuman
OmniHuman — это сквозной мультимодальный условный фреймворк генерации видео человека со следующими особенностями:
- Упрощенные требования к вводу: Требует только одно изображение человека и сигналы движения (такие как аудио или видео) для генерации анимации человека
- Гибкая поддержка ввода: Может обрабатывать изображения любого соотношения сторон, включая портреты, полуфигуры и полные фигуры
- Разнообразные методы управления: Поддерживает управление движением через текст, аудио, видео и другие средства
- Детальная производительность: Отличная производительность в деталях, таких как движения рук и синхронизация губ
Техническая реализация
Исследовательская команда приняла инновационную стратегию смешанного условного обучения:
- Использует архитектуру DiT в качестве основы, интегрируя возможности обработки множественных управляющих сигналов
- Проектирует механизм Omni-Conditions, объединяя аудио, позы и другие признаки
- Применяет многоэтапный метод обучения для балансировки различных условий
- Обучающий датасет включает 18,7 тыс. часов данных, связанных с человеком
Потенциальные применения
Сценарии применения OmniHuman включают:
- Производство виртуальных ведущих
- Выступления цифровых людей
- Создание видеоконтента
- Аватары для удаленных встреч
Текущий статус
В настоящее время OmniHuman недоступен для скачивания или использования. Исследовательская команда указывает, что они предоставят больше обновлений в будущем.
Ссылки на ресурсы
- Домашняя страница проекта: https://omnihuman-lab.github.io/
- Ссылка на статью: OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models