VAST-AI et l’Université de Tsinghua publient en open source UniRig : Un cadre d’automatisation du rigging squelettique pour tous les modèles 3D

L’équipe de recherche conjointe de VAST-AI (Tripo) et de l’Université de Tsinghua a récemment publié en open source UniRig, un cadre conçu pour révolutionner le rigging squelettique automatique pour les modèles 3D. Cette technologie marque une percée importante dans le domaine de l’infographie, utilisant les puissantes capacités des grands modèles autorégressifs pour générer des structures squelettiques et des poids de skinning de haute qualité pour divers modèles 3D, résolvant ainsi l’un des aspects les plus difficiles des flux de travail d’animation.

Résoudre le goulot d’étranglement central dans la création de contenu 3D

Avec la prospérité du métavers, du développement de jeux et de la production de contenu numérique, la demande de modèles 3D connaît une croissance explosive. Cependant, le processus de conversion des modèles statiques en personnages animables par rigging squelettique est resté un goulot d’étranglement important, nécessitant non seulement du temps mais aussi des compétences spécialisées.

Les professionnels du rigging de personnages doivent passer des heures, voire des jours, à créer des hiérarchies squelettiques pour des modèles complexes, puis à ajuster méticuleusement les poids pour assurer une déformation naturelle. Pour les débutants, ce processus présente une courbe d’apprentissage abrupte, et même pour les professionnels, il reste l’un des aspects les plus chronophages du flux de travail.

Les outils de rigging automatique existants se divisent principalement en deux catégories :

• Méthodes basées sur des modèles : Bien que relativement fiables pour les personnages humanoïdes standard, elles échouent souvent face à des formes nouvelles (comme des créatures multi-pattes, des structures mécaniques ou des créatures fantastiques)
• Méthodes sans modèle : Bien que plus flexibles, les topologies squelettiques générées ne répondent souvent pas aux attentes des artistes, et la précision du contrôle est limitée

UniRig : Un modèle pour les rigger tous

UniRig introduit un nouveau paradigme pour le rigging squelettique automatique en appliquant les concepts des grands modèles de langage (LLM). L’équipe de recherche traite les structures squelettiques comme un “langage” spécial, permettant au modèle de “comprendre” et de “générer” la logique squelettique inhérente à diverses créatures et objets.

Les innovations d’UniRig comprennent :

1. Mécanisme innovant de tokenisation d’arbre squelettique

La tokenisation d’arbre squelettique est l’innovation centrale d’UniRig, résolvant le défi de l’encodage des structures squelettiques avec des relations hiérarchiques complexes en séquences linéaires. Ce schéma encode intelligemment :

• Coordonnées des articulations : Représentation des positions spatiales sous forme discrétisée pour une précision géométrique
• Structure hiérarchique : Définition claire des relations parent-enfant pour garantir des arbres squelettiques valides
• Information sémantique : Identification des différents types d’os par des tokens spécialisés (comme les os principaux, les contrôleurs IK, les os physiques auxiliaires, etc.)

Cette conception réduit la longueur de séquence d’environ 30 % par rapport aux méthodes traditionnelles, améliorant considérablement l’efficacité du modèle et la qualité de génération.

2. Architecture à deux étages garantissant des résultats de haute qualité

UniRig emploie une architecture à deux étapes soigneusement conçue :

1. Étape de génération du squelette : Un Transformeur basé sur GPT génère les articulations une par une par autorégression, formant une hiérarchie squelettique complète. Ce processus prend en compte les caractéristiques géométriques globales et locales, garantissant que le squelette correspond étroitement à la forme du modèle 3D.

2. Étape de prédiction des poids de skinning : Grâce à un mécanisme innovant d‘“Attention croisée os-point”, UniRig peut calculer précisément comment chaque sommet du modèle est influencé par les os environnants, générant des poids de skinning naturels et fluides. Le système peut également prédire des paramètres physiques pour des os spécialisés (comme les coefficients de ressort pour les os physiques), prenant en charge des effets d’animation avancés.

Jeu de données Rig-XL : Favoriser la généralisation par la diversité

Pour soutenir l’entraînement d’UniRig, l’équipe de recherche a construit Rig-XL, le plus grand jeu de données de rigging squelettique à ce jour, contenant plus de 14 000 modèles 3D riggés divers. Ce jeu de données couvre :

• Personnages humanoïdes (styles réalistes et cartoon)
• Quadrupèdes (animaux domestiques, faune sauvage, créatures fantastiques)
• Oiseaux et créatures volantes
• Insectes et arthropodes
• Structures mécaniques et objets non organiques
• Personnages de style anime (incluant des os à ressort physiques)

En s’entraînant sur des données aussi diverses, UniRig a acquis de puissantes capacités de généralisation, capable de traiter diverses formes de modèles jamais vues.

Avantages de performance en production

Dans de multiples tests comparatifs, UniRig a significativement surpassé les solutions commerciales et académiques existantes :

• Précision de liaison améliorée de 215 % : Les positions des os et les structures hiérarchiques correspondent mieux aux attentes des artistes professionnels
• Qualité d’animation améliorée de 194 % : Les poids générés produisent des déformations plus naturelles et fluides pendant l’animation
• Capacités de traitement grandement étendues : Gère avec succès des formes allant du simple à l’extrêmement complexe (comme des insectes multi-pattes ou des personnages fantastiques multi-membres)
• Haute efficacité : La plupart des modèles sont traités en 1 à 5 secondes, bien moins que le temps requis par les professionnels du rigging

Intégration potentielle avec le flux de travail ComfyUI

Alors que des modèles d’IA générative comme TripoSG et TripleSF sont appliqués dans ComfyUI, la génération de modèles 3D de haute qualité est devenue possible. Cependant, les modèles générés manquent généralement de structures squelettiques, limitant leur application dans l’animation.

UniRig a le potentiel de s’intégrer parfaitement au flux de travail de génération 3D de ComfyUI, permettant un processus de bout en bout du concept créatif au personnage animable :

1. Générer des modèles 3D à l’aide d’instructions textuelles ou d’images
2. Ajouter automatiquement des structures squelettiques via UniRig
3. Exporter vers n’importe quel logiciel ou moteur de jeu prenant en charge l’animation squelettique

De plus, combiné avec la technologie HoloPart publiée hier, il peut permettre l’édition au niveau des composants et la génération de squelettes de modèles, offrant aux créateurs une flexibilité sans précédent.

État actuel de l’open source

VAST-AI a commencé à ouvrir progressivement le code des différents composants d’UniRig :

• ✅ Déjà en open source : Modèle de prédiction squelettique (entraîné sur Articulation-XL2.0)
• ⏳ À venir : Modèle de prédiction des poids de skinning
• ⏳ À venir : Jeux de données Rig-XL et VRoid
• ⏳ À venir : Points de contrôle complets du modèle UniRig entraînés sur Rig-XL/VRoid

Retours des créateurs et participation de la communauté open source

Les artistes 3D indépendants qui ont testé UniRig en avant-première ont déclaré que la technologie “a considérablement changé le processus créatif” et “a ouvert la porte à la création d’animations pour les riggers non professionnels”. Un développeur de jeux a commenté : “UniRig peut accomplir en quelques secondes ce qui prenait auparavant des heures, et la qualité est même meilleure.”

VAST-AI invite la communauté open source à participer au développement ultérieur d’UniRig, particulièrement dans les domaines suivants :

• Ajustement fin spécialisé pour des types spécifiques de modèles
• Intégration de plugins avec des logiciels de création 3D existants
• Modèles légers optimisés pour les petits appareils

Liens connexes

• Page d’accueil du projet
• Dépôt GitHub
• Poids du modèle

VAST-AI a fréquemment publié en open source plusieurs projets liés à la création 3D récemment, notamment UniRig présenté aujourd’hui, HoloPart, TripleSF, ainsi que MIDI et MV-Adapter pour la génération de bout en bout de scènes composites tridimensionnelles à partir d’images uniques, menant continuellement la direction de la technologie de génération 3D et fournissant des outils plus puissants à la communauté créative.