VAST-AI lance HoloPart : Technologie de segmentation amodale générative des parties 3D
L’équipe de recherche conjointe de VAST-AI et de l’Université de Hong Kong a récemment lancé HoloPart, un nouveau type de technologie de segmentation amodale des parties 3D capable de décomposer les modèles 3D en parties complètes et sémantiquement significatives. Cette technologie identifie non seulement les surfaces visibles du modèle, mais peut également déduire la structure géométrique des parties occultées, réalisant ainsi une segmentation véritablement complète des parties.
Résolution des points douloureux de la création de contenu 3D
Lors de la création de contenu 3D, l’édition de modèles 3D téléchargés, numérisés ou générés par IA présente souvent des défis importants. Ces modèles sont généralement “un bloc solide” de géométrie, rendant extrêmement difficile l’ajustement, l’animation ou l’application de différents matériaux à des parties individuelles (comme les pieds de chaise ou les montures de lunettes).
Bien que les techniques existantes de segmentation des parties 3D puissent identifier les surfaces visibles appartenant à différentes parties, elles produisent généralement des pièces fragmentées et incomplètes, limitant considérablement leur valeur pratique dans la création de contenu.
HoloPart introduit une nouvelle tâche : la segmentation amodale des parties 3D — elle ne décompose pas seulement les formes 3D en fragments de surface visibles, mais en parties complètes avec des informations sémantiques, générant des composants complets même lorsque des portions sont occultées.
Comment fonctionne HoloPart
HoloPart est une nouvelle technologie basée sur la diffusion, inspirée par la perception amodale (la capacité des humains à percevoir des objets complets même lorsque des parties sont occultées). La technologie est mise en œuvre par une approche en deux étapes :
-
Segmentation initiale : D’abord, des fragments de surface initiaux (parties incomplètes) sont obtenus à l’aide de méthodes avancées existantes (comme SAMPart3D).
-
Complétion des parties : Le fragment de partie incomplet, ainsi que les informations contextuelles de la forme entière, sont introduits dans le nouveau modèle HoloPart. Basé sur une architecture de Transformateur de Diffusion, HoloPart peut générer une géométrie 3D complète et raisonnable pour la partie.
HoloPart est construit sur le modèle de base de génération 3D TripoSG, développé grâce à un préentraînement extensif sur de grands ensembles de données (comme Objaverse) et un réglage fin spécialisé sur des données partie-tout, lui donnant une compréhension profonde de la géométrie 3D.
Son innovation clé réside dans un mécanisme d’attention double :
- Attention locale : Se concentre sur les détails géométriques fins des fragments de surface d’entrée, assurant une intégration transparente entre la partie complétée et la géométrie visible.
- Attention contextuelle : Se concentre sur la forme globale et la position de la partie en son sein, assurant que la partie complétée maintient la proportion, la sémantique et la cohérence de forme globale.
Cela permet à HoloPart de reconstruire intelligemment les détails géométriques cachés, respectant la structure globale de l’objet même pour des parties complexes ou des occlusions sévères.
Scénarios d’application
En générant des parties complètes, HoloPart débloque plusieurs applications puissantes :
- Édition intuitive : Saisir, redimensionner, déplacer ou remplacer facilement des parties complètes
- Attribution pratique de matériaux : Assigner clairement des textures ou des matériaux à des composants complets
- Actifs prêts pour l’animation : Générer des parties adaptées au rigging et à l’animation
- Traitement géométrique intelligent : Réaliser des opérations géométriques plus robustes comme le remaillage grâce au traitement cohérent des parties
- Génération consciente des parties : Jeter les bases pour les futurs modèles génératifs capables de créer ou manipuler des formes 3D au niveau des parties
- Super-résolution géométrique : Améliorer les détails des parties en les représentant avec un grand nombre de tokens
Démo en ligne
Vous pouvez expérimenter les fonctionnalités de HoloPart grâce à cette démo interactive :