StdGEN : Génération de personnages 3D sémantiquement décomposés à partir d’images uniques
Des chercheurs de l’Université Tsinghua et du laboratoire d’IA de Tencent ont récemment dévoilé StdGEN (Semantic-Decomposed 3D Character Generation), une technologie innovante capable de générer des modèles de personnages 3D sémantiquement décomposés de haute qualité à partir d’images uniques. Cette recherche a été acceptée par la prestigieuse conférence de vision par ordinateur CVPR 2025.
Innovations techniques
StdGEN met en œuvre trois caractéristiques clés grâce à son pipeline innovant :
- Décomposition sémantique : Les modèles de personnages 3D générés peuvent être complètement séparés en composants sémantiques tels que le corps, les vêtements et les cheveux, facilitant les modifications et personnalisations ultérieures.
- Efficacité : Le processus allant d’une seule image à un personnage 3D complet ne prend que 3 minutes.
- Reconstruction de haute qualité : Les modèles 3D générés présentent des détails géométriques et des textures fins.
Technologie de base
Le cœur de StdGEN est le Modèle de reconstruction large à sensibilité sémantique (S-LRM) proposé par l’équipe de recherche. Il s’agit d’un modèle généralisable basé sur Transformer capable de reconstruire conjointement la géométrie, la couleur et les informations sémantiques à partir d’images multi-vues de manière directe.
De plus, la méthode introduit les innovations suivantes :
- Un schéma d’extraction de surface sémantique multicouche différentiel pour obtenir des maillages à partir du champ implicite hybride reconstruit par S-LRM
- Un modèle de diffusion multi-vues efficace spécialisé
- Un module de raffinement de surface multicouche itératif
Perspectives d’application
Cette technologie présente de vastes perspectives d’application dans la réalité virtuelle, le développement de jeux vidéo et la production cinématographique. Par rapport aux méthodes existantes, StdGEN réalise des améliorations significatives en matière de géométrie, de texture et de décomposabilité, offrant aux utilisateurs des personnages 3D sémantiquement décomposés prêts à l’emploi qui prennent en charge une personnalisation flexible.
L’équipe de recherche a rendu public le code d’inférence, les ensembles de données et les points de contrôle pré-entraînés, et propose également une démonstration en ligne via HuggingFace Gradio.