Hi3D v1.0 affine les maillages grossiers vers une géométrie 1536³

Vue d'ensemble du système issue du référentiel du projet : les caractéristiques de l'image conditionnent un flux sparse sur les coordonnées issues de la géométrie grossière, et chaque maillage extrait est revoxelisé pour amorcer la passe suivante.

Une seconde étape plutôt qu'un autre générateur

Les pipelines image-vers-3D dans ComfyUI, y compris les nœuds TRELLIS.2 et Pixal3D, se terminent par un seul maillage produit en une unique cascade. Tout détail manqué par cette cascade est perdu : les reliefs fins s'aplatissent, les moulures et les dents se brouillent, et le résultat n'est jamais plus net que ne l'était l'étape de forme.

Hi3D v1.0 est conçu pour l'étape qui suit. Il ne génère pas un maillage à partir d'une image par lui-même ; il suppose qu'un maillage grossier existe déjà et concentre sa capacité sur le rendu d'une géométrie plus dense et plus fidèle, en utilisant la même image de référence comme signal de conditionnement plutôt que comme cible de reconstruction. Le maillage grossier peut provenir de n'importe quel générateur, ou d'un artiste.

Le projet est construit sur Sparc3D, et le package Python ainsi que l'API publique conservent les noms d'origine pour des raisons de compatibilité : l'import du pipeline d'affinage ressemble toujours à from sparc3d import Sparc3DPipeline.

La progression en trois passes

Une passe échantillonne un latent à chaque coordonnée de voxel occupée, le décode en un champ de distance signé, extrait un maillage, puis revoxelise ce maillage afin de fournir le support sparse de la passe suivante. Demander une résolution plus élevée revient simplement à exécuter davantage de passes sur le maillage précédent.

Une requête en 512³ exécute la première passe, une requête en 1024³ en exécute deux, et une requête en 1536³ les exécute toutes les trois. Le projet précise explicitement que ces chiffres décrivent des grilles de coordonnées et d'extraction sparse, et non un tenseur latent dense de 1536³ ni un nombre de triangles garanti ; une exécution en 1536³ ne signifie donc pas un volume de voxels fixe de 1536³.

Deux transformers portent le travail. Chacun compte 24 blocs, une largeur de 2 112 canaux répartis sur 22 têtes d'attention, et environ 1,8 milliard de paramètres. Chaque bloc applique une self-attention sparse sur les voxels, une cross-attention vers les tokens de l'image, et un MLP, avec des embeddings de position rotatifs et une normalisation RMS sur les requêtes et les clés de la self-attention. L'échantillonnage utilise par défaut 25 mises à jour du scheduler par passe, avec un échantillonneur du second ordre.

Le conditionnement d'image provient de deux encodeurs gelés : DINOv2-large en 756×756, produisant 2 917 tokens d'image de 1 024 canaux, et CLIP ViT-L/14 en 224×224, produisant un embedding mis en pool qui est diffusé sur ces positions. Le résultat concaténé est calculé une fois et réutilisé par chaque passe.

Ce qui change en surface

La preuve la plus claire de cette publication est la comparaison en gros plan, où chaque méthode doit décrire la même région de référence : reliefs stratifiés, moulures architecturales, limites courbes, écailles et dents, rainures concentriques. Hi3D v1.0 occupe la colonne la plus à droite.

Les régions de référence sont marquées par des encadrés rouges et agrandies ligne par ligne, sous forme de géométrie ombrée et de normales de surface colorées.

Le test plus large porte sur quatre objets (un véhicule, un personnage blindé, un fauteuil, un sac à main) vus de face, de dos et de dessous : c'est là qu'une étape d'affinage soit conserve une silhouette cohérente, soit s'éloigne de la référence.

Géométrie ombrée et rendus de normales de surface côte à côte. Les vues cachées illustrent un complètement plausible plutôt qu'une reconstruction exacte des surfaces non observées.

Le rapport associé à cette publication décrit un entraînement sur environ deux millions de ressources 3D sélectionnées. Le code d'entraînement, le harnais d'évaluation et les maillages de comparaison ne font pas partie de la publication : les tableaux publiés ne peuvent donc pas être reproduits à partir du seul référentiel ; les chiffres ci-dessus sont ceux du projet.

Ce que l'étape d'affinage ne fait pas

Les déclarations de périmètre de la carte du modèle sont d'une franchise inhabituelle, et elles fixent correctement les attentes :

• Géométrie uniquement. Pas de textures, pas de matériaux, pas de couleurs de sommets. Hi3D renvoie un maillage trimesh, et la sortie est recentrée et normalisée vers un rayon maximal unitaire, de sorte que les coordonnées mondiales et l'échelle absolue ne sont pas préservées.
• L'étape grossière décide de beaucoup. Des erreurs structurelles graves dans le maillage d'entrée peuvent survivre à l'affinage, et une géométrie que l'image de référence ne montre jamais devient un complètement plausible, pas une reconstruction.
• La résolution est une requête, pas une garantie. Une exécution qui n'atteint pas la résolution demandée lève une erreur au lieu de renvoyer discrètement un maillage plus grossier.

Disponibilité

Hi3D v1.0 est livré sous forme de package d'inférence Python avec des poids sur Hugging Face : huit fichiers d'exécution disposés à la racine du référentiel, les deux transformers étant chargés comme composants séparés. L'étape grossière optionnelle est un adaptateur pour Hunyuan3D-2 mini, et elle n'est explicitement pas une dépendance : demo/refine_mesh.py et Sparc3DPipeline acceptent directement n'importe quel maillage triangulaire. Une démo hébergée est en ligne pour essayer l'affinage sans installation.

Il n'existe pas encore d'intégration ComfyUI. Le référentiel ne contient aucun nœud personnalisé, aucun modèle de flux de travail et aucune référence à ComfyUI ; Hi3D s'exécute donc actuellement en dehors de ComfyUI via son propre pipeline. Dans les canaux 3D de Banodoco, où la publication a été partagée le 27 octobre, la question immédiate était de savoir si des nœuds natifs suivraient ; le modèle y est utilisé comme étape d'affinage en amont des flux de travail TRELLIS.2 et Pixal3D que les utilisateurs exécutent déjà.