VAST AI Research publie TripoSF en open source : Redéfinir de nouveaux sommets dans la technologie de génération 3D
L’entreprise leader mondial en technologie de génération 3D, VAST AI Research, a récemment annoncé la publication en open source de son dernier modèle fondamental, TripoSF. Cette technologie révolutionnaire, centrée sur la représentation innovante SparseFlex, établit une nouvelle référence dans la génération de modèles 3D haute résolution, prenant en charge la modélisation fine avec des résolutions allant jusqu’à 1024³ et gérant à la fois les surfaces ouvertes et les structures internes complexes, surpassant véritablement les performances des modèles de génération 3D existants.
Points techniques clés de TripoSF
Représentation SparseFlex : Déverrouiller la génération de détails et de structures complexes
TripoSF est basé sur la nouvelle méthode de représentation 3D SparseFlex, qui optimise l’utilisation de la mémoire grâce à des structures de voxels dispersés, prenant en charge une précision de modélisation avec des résolutions allant jusqu’à 1024³. Cette technologie n’a besoin de stocker des informations de voxels qu’à proximité des surfaces des objets, capable de capturer des textures externes (comme des structures de tissu à face unique) tout en générant des détails internes (comme des sièges et des structures mécaniques de cockpit), mettant fin complètement à l’ère des modèles grossiers “pâte à modeler” traditionnellement générés par l’IA.
Stratégie d’entraînement consciente du frustum de vision : Percée en efficacité et précision
S’inspirant des techniques d’élimination du frustum de vision dans le rendu en temps réel, TripoSF n’active que les voxels dans la vue de la caméra pendant l’entraînement, réduisant significativement la charge de calcul. Les données expérimentales montrent que ses modèles générés atteignent une réduction de 82% de la Distance de Chamfer et une amélioration de 88% du score F, avec une précision des détails et un réalisme atteignant de nouveaux standards industriels.
Support de topologie dynamique et écosystème ouvert
TripoSF prend en charge nativement les structures topologiques arbitraires, capable de gérer des surfaces ouvertes (comme des tissus et des feuilles) et des solides fermés, tout en étant compatible avec des processus d’optimisation directe basés sur des pertes de rendu. Le contenu open source comprend des modèles VAE pré-entraînés, du code d’inférence et des démonstrations interactives, permettant aux développeurs de l’expérimenter rapidement via les plateformes GitHub et HuggingFace.
Démonstration des effets
Innovation révolutionnaire : Avantages clés au-delà des méthodes de génération 3D existantes
En termes de qualité de résultats, TripoSF redéfinit la “limite supérieure de qualité du modèle” :
- Vue complète et structure interne : Pour la première fois, les modèles peuvent non seulement capturer les détails arrière mais aussi présenter avec précision les structures internes (comme les sièges de bus et les cockpits de conducteur)
- Gestion des surfaces ouvertes : Alors que les technologies précédentes ne pouvaient créer que des structures géométriques avec épaisseur lors de la génération de vêtements ou de pétales, TripoSF peut présenter naturellement de véritables “actifs à face unique”
- Richesse de détails sans précédent : Dans divers types de modèles, les détails géométriques et la précision des textures qu’il génère atteignent des niveaux sans précédent
Scénarios d’application et impact industriel
- Production cinématographique et de jeux : Les réalisateurs et les designers peuvent rapidement générer des scènes et des personnages 3D haute-fidélité par texte ou croquis, raccourcissant considérablement le cycle créatif
- Impression 3D et fabrication : Le seuil de conception pour les pièces mécaniques complexes et les produits personnalisés est abaissé, permettant aux personnes ordinaires de réaliser “ce que vous pensez est ce que vous obtenez”
- Recherche académique : Le code open source et les poids du modèle fournissent de nouveaux points de référence pour le domaine de la génération 3D, stimulant l’innovation dans les algorithmes sous-jacents
Liens d’expérience de participation et ressources
Exigences techniques
- GPU compatible CUDA (≥12 Go de VRAM pour la résolution 1024³)
- PyTorch 2.0+
- Veuillez consulter la documentation du dépôt GitHub pour les méthodes détaillées d’installation et d’utilisation