Hi3DGen : Un Nouveau Cadre pour la Génération de Géométrie 3D Haute-Fidélité par Pontage Normal

L’équipe de recherche Stable-X a récemment dévoilé une technologie révolutionnaire de génération 3D—Hi3DGen, un cadre innovant qui génère des modèles géométriques 3D haute-fidélité à partir d’images uniques grâce à la technologie de pontage normal. Comparé aux méthodes existantes, Hi3DGen peut générer des détails géométriques plus riches et plus précis, devenant ainsi la nouvelle méthode SOTA dans le domaine de la génération d’image vers 3D.

Expérience en Ligne

Vous pouvez expérimenter les puissantes capacités de Hi3DGen via l’interface interactive suivante :

Pourquoi Hi3DGen ?

Malgré les progrès significatifs dans la génération de modèles 3D à partir d’images 2D ces dernières années, les méthodes existantes font toujours face à d’importants défis dans la génération de détails géométriques fins, principalement limités par les facteurs suivants :

1. Rareté des données d’entraînement 3D de haute qualité : Limitant la capacité du modèle à apprendre des caractéristiques géométriques détaillées
2. Écart de domaine entre l’entraînement et les tests : Grandes différences de style entre les images rendues synthétiques et les scénarios d’application réels
3. Interférences dues à l’éclairage, aux ombres et aux textures : Ces éléments dans les images RGB compliquent l’extraction d’informations géométriques

Ces limitations rendent difficile pour les méthodes existantes de reproduire avec précision les structures géométriques fines des images d’entrée, affectant le réalisme et l’utilité pratique des modèles générés.

Innovations Techniques de Hi3DGen

Hi3DGen résout les problèmes ci-dessus grâce à une approche technique novatrice, avec son cadre innovant composé de trois composants clés :

1. Estimateur d’image vers normale : Découple les motifs d’image basse fréquence grâce à l’injection de bruit et à l’entraînement à double flux, permettant une estimation des normales généralisable, stable et claire
2. Générateur de normale vers géométrie : Utilise l’apprentissage par diffusion latente régularisée par les normales pour améliorer la fidélité de la génération géométrique 3D
3. Pipeline de construction de jeu de données synthétiques : Jeu de données 3D de haute qualité DetailVerse spécialement conçu, contenant de riches détails géométriques pour soutenir l’entraînement du modèle

Cette architecture de “pontage” divise astucieusement la génération de géométrie d’image en deux étapes, contournant efficacement la difficulté du mappage direct de RGB vers la géométrie 3D en utilisant des cartes normales 2.5D comme représentation intermédiaire.

Évaluation des Performances

À travers des expériences comparatives avec plusieurs méthodes de pointe de génération d’image vers 3D (notamment CraftsMan-1.5, Hunyuan 3D-2.0, Clay, Tripo-2.5, Trellis et Dora), Hi3DGen démontre des avantages significatifs en termes de fidélité et de reproduction des détails :

• Contours et proportions de forme plus précis
• Textures de surface et détails géométriques plus riches
• Moins de défauts et de trous dans le modèle
• Plus grande cohérence avec les images d’entrée

Une évaluation impliquant 50 utilisateurs réguliers et 10 artistes 3D professionnels a montré que la qualité de génération de Hi3DGen a reçu les notes les plus élevées, prouvant son excellence dans les scénarios d’application amateur et professionnel.

Scénarios d’Application

La percée technologique de Hi3DGen apporte de nouvelles possibilités à de multiples domaines :

1. Jeux vidéo et production cinématographique : Créer rapidement des actifs 3D de haute qualité, réduisant les coûts de production
2. Réalité virtuelle et augmentée : Générer des objets virtuels plus réalistes
3. E-commerce : Créer des modèles 3D précis de produits, améliorant l’expérience d’achat en ligne
4. Impression 3D : Générer des modèles 3D haute précision directement à partir de photos
5. Préservation du patrimoine culturel : Reconstruire les formes 3D d’artefacts précieux à partir d’images historiques

Guide de Démarrage Rapide

1. Visitez la démo en ligne Hi3DGen
2. Téléchargez une ou plusieurs images de test
3. Cliquez sur le bouton “Generate Shape” et attendez que la génération soit terminée
4. Utilisez la fonction “Export Mesh” pour exporter des actifs 3D dans différents formats

Plan Open Source

Il est important de noter que le code complet de Hi3DGen sera officiellement open source le 10 avril 2025, date à laquelle les chercheurs et développeurs pourront accéder aux détails complets d’implémentation et aux scripts d’entraînement.

Ressources Connexes

• Page du Projet
• Démo en Ligne
• Dépôt GitHub (sera disponible le 10 avril 2025)
• Article de Recherche

Le lancement de Hi3DGen marque une étape importante dans la technologie de génération d’image vers 3D, ouvrant de nouvelles possibilités pour la création de contenu 3D haute-fidélité grâce à la méthode innovante de pontage normal. Alors que le code complet est sur le point d’être open source, nous attendons avec impatience de voir davantage d’applications innovantes et de développements technologiques supplémentaires basés sur cette technologie.