Speridlabs Idol transforme une seule image en splat gaussien 3D

Le manque qu'Idol cible est celui qui demande habituellement une reconstruction multi-vues : vous disposez d'une seule image d'un objet et vous voulez quelque chose que vous pouvez pivoter. Idol supprime l'arrière-plan, cadre l'objet, encode l'image et échantillonne directement un ensemble de gaussiennes. La sortie s'ouvre dans n'importe quelle visionneuse de splats gaussiens et, à côté, le modèle écrit l'entrée recadrée qu'il a réellement vue ainsi qu'une caméra prédite au format JSON.

L'un des objets de la galerie. Chaque exemple de la page du projet part d'une seule image.

Une petite pile de diffusion avec deux décodeurs

Le cœur génératif d'Idol est un transformer de diffusion de 370,6 M de paramètres, un décodeur octree de 50,8 M de paramètres qui décide où vivent les gaussiennes, et un décodeur gaussien de 237,3 M de paramètres qui prédit leurs attributs, soit 0,66 Md de paramètres au total. Autour gravitent trois modèles de support : BiRefNet pour la suppression de l'arrière-plan, DINOv3 ViT-H+/16 comme encodeur d'image, et le VAE FLUX.2, ce qui porte la requête complète à environ 1,80 Md de paramètres.

La carte établit le total à environ 3,7 à 4,4 Go de poids et un pic à 7,2 Go, ce qui permet au modèle de tourner sur une carte de 10 Go plutôt que sur un GPU de centre de données.

La nourriture et les petits objets font partie des catégories couvertes par la galerie, aux côtés des meubles et des personnages.

Le niveau de détail est un réglage, pas un budget fixe

Le nombre de gaussiennes est un argument d'exécution allant de 32 768 à 1 048 576 par multiples de 32, avec 262 144 par défaut. Sur la page du projet, la même lampe arrive à 0,4 Mo avec le réglage à 32 768 et à 12,2 Mo à 1 048 576 : le même objet peut donc être un blockout ou un asset final. Deux autres paramètres façonnent le résultat : 50 étapes d'échantillonnage par défaut, et un mode qui modifie l'espace laissé par le recadrage autour de l'objet, synthetic pour les rendus et les images générées, real pour les photographies.

L'échantillonnage plus rapide est activé par défaut sur GPU et apporte environ 1,7x à qualité égale : le débruitant est compilé avec torch.compile, les passes guidée et non guidée s'exécutent en un seul lot, et l'attention utilise cuDNN avec des matmuls TF32. La première image d'un processus paie le coût de compilation.

Les personnages et les créatures suivent la même recette, sans chemin de modèle séparé.

Benchmarks et temps d'exécution

La carte compare Idol à TripoSplat, TRELLIS et LGM à 262 144 gaussiennes sur un seul H100, en évaluant la vue d'entrée avec PSNR, SSIM, LPIPS et IoU, et sept nouvelles vues avec DINOv2, CLIP et une distance de netteté.

LGM conserve le PSNR le plus élevé tout en produisant des résultats visiblement flous, ce que la carte attribue au fait que le PSNR moyenne l'erreur de pixel au carré.

Sur les cartes grand public, la même requête prend 14,1 s sur une RTX 5090, 19,1 s sur une RTX 4090 et 46,2 s sur une RTX 3080. La mention « moins de 2 secondes » de la carte n'a aucune ligne correspondante dans son propre tableau, où l'entrée la plus rapide est une B300 à 3,4 s pour 262 144 gaussiennes : considérez donc le tableau comme la référence et l'affirmation des deux secondes comme un meilleur cas que les chiffres publiés ne reproduisent pas.

Les structures fines et la translucidité sont les cas difficiles pour un décodeur de splats, et elles figurent dans la galerie aux côtés des meubles.

Disponibilité

Idol est distribué sous forme de code Python plutôt que de nœud ComfyUI. Le paquet idol-sdk requiert Python 3.10+, PyTorch 2.5+ et un GPU NVIDIA avec CUDA, et s'installe avec pip install -e .. Les poids, environ 3 Go, ainsi que les deux encodeurs se téléchargent depuis le Hub au premier lancement. Les deux encodeurs sont soumis à autorisation : facebook/dinov3-vith16plus-pretrain-lvd1689m doit être accepté sur le Hub, et black-forest-labs/FLUX.2-dev n'est utilisé que pour son VAE, donc un hf auth login ou un HF_TOKEN est requis avant la première génération.

Une seule image s'exécute en ligne de commande, avec --mode real pour les photographies :

python -m idol.sample --image photo.jpg --mode real
python -m idol.sample --image renders/ --mode synthetic --out outputs

Il n'existe pas encore d'intégration ComfyUI officielle. Le nœud communautaire Nynxz/ComfyUI-Idol encapsule les mêmes poids pour ComfyUI, tandis que la démo du Space HF exécute le modèle dans le navigateur.