ByteDance lanza OmniHuman: Marco de Nueva Generación para Animación Humana
El equipo de investigación de ByteDance ha lanzado recientemente (3 de febrero) “OmniHuman-1”, un marco de generación de animación humana. Esta investigación fue publicada en el artículo “OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models”, mostrando los últimos avances en la generación de animación humana.
- Página del Proyecto: https://omnihuman-lab.github.io/
Características Principales de OmniHuman
OmniHuman es un marco de generación de video humano condicional multimodal de extremo a extremo con las siguientes características:
- Requisitos de Entrada Simplificados: Solo requiere una imagen humana única y señales de movimiento (como audio o video) para generar animaciones
- Soporte de Entrada Flexible: Puede procesar imágenes de cualquier relación de aspecto, incluyendo retratos, medio cuerpo y cuerpo completo
- Métodos de Control Diversos: Admite control de movimiento a través de texto, audio, video y otros medios
- Rendimiento en Detalles: Excelente rendimiento en detalles como movimientos de manos y sincronización labial
Implementación Técnica
El equipo de investigación adoptó una estrategia innovadora de entrenamiento con condiciones mixtas:
- Utiliza la arquitectura DiT como base, integrando múltiples capacidades de procesamiento de señales de control
- Diseña el mecanismo Omni-Conditions, fusionando características de audio, pose y otros elementos
- Emplea un método de entrenamiento multietapa para equilibrar diferentes condiciones
- El conjunto de datos de entrenamiento incluye 18.7K horas de datos relacionados con humanos
Aplicaciones Potenciales
Los escenarios de aplicación de OmniHuman incluyen:
- Producción de presentadores virtuales
- Actuación de humanos digitales
- Creación de contenido de video
- Avatares para reuniones remotas
Estado Actual
Actualmente, OmniHuman no está disponible para descarga ni como servicio. El equipo de investigación indica que proporcionará más actualizaciones en el futuro.
Enlaces de Recursos
- Página del Proyecto: https://omnihuman-lab.github.io/
- Enlace del Artículo: OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models