SenseNova-Vision : un modèle multimodal unifié pour toutes les tâches de vision

SenseTime (商汤科技) a open-sourcé SenseNova-Vision-7B-MoT, un modèle multimodal unifié (7B paramètres) qui reformule des tâches hétérogènes de vision par ordinateur : détection, segmentation, estimation de profondeur, prédiction de normales de surface, OCR, points clés et géométrie multi-vue en génération native de texte, d'image ou de texte-image mixte, éliminant le besoin de modules ou de décodeurs spécifiques à une tâche.

Le modèle est publié sous CC BY-NC 4.0 à la fois sur Hugging Face et ModelScope, accompagné du jeu de données SenseNova-Vision-Corpus-50M et d'un article arXiv détaillé.

Ce qui rend SenseNova-Vision différent

Les systèmes traditionnels de vision par ordinateur ajoutent des modules de prédiction séparés pour chaque tâche : un pour la détection, un autre pour la segmentation, encore un autre pour la profondeur. SenseNova-Vision adopte une approche radicalement différente en convertissant toutes les tâches de vision dans les espaces d'entrée-sortie natifs d'un modèle multimodal unifié :

1. Formulation unifiée des tâches — La détection, la segmentation, la profondeur, les normales, l'OCR, l'ancrage GUI, les points clés, l'estimation de pose de caméra et la reconstruction de carte de points multi-vue sont toutes exprimées via des instructions en langage naturel et des invites visuelles optionnelles, avec des sorties générées sous forme d'enregistrements textuels, de cartes d'images denses ou de réponses texte-image mixtes.

2. Pas de têtes spécifiques aux tâches — Le modèle repose sur une seule architecture sans têtes séparées de détection, segmentation, profondeur ou géométrie. Les sorties sont décodables dans des formats compatibles avec les benchmarks (boîtes englobantes, masques, cartes de profondeur, cartes de normales, cartes de points, paramètres de caméra).

3. Large couverture de tâches — Le même modèle gère la compréhension visuelle structurée (détection, localisation par référence, OCR, ancrage GUI, points clés), la prédiction géométrique dense (profondeur, normales de surface), la segmentation (sémantique, par référence, raisonnement, interactive, conversation ancrée) et la géométrie visuelle multi-vue (reconstruction de carte de points, estimation de pose de caméra).

4. Variantes de tâches définies par le langage — Les instructions en langage naturel permettent des définitions de tâches flexibles au-delà des schémas de benchmark fixes, permettant aux utilisateurs de définir des variantes de tâches personnalisées à la volée.

Architecture et disponibilité

Démarrage rapide

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

Télécharger les poids du modèle :

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

Exécuter l'exemple fourni pour vérifier l'installation :

bash scripts/run_sensenova_vision.sh example

Exécuter une seule requête d'inférence : par exemple, segmentation binaire pour "person" :

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

Lancer la démo web Gradio :

bash scripts/run_sensenova_vision.sh web_demo

Points forts des benchmarks

SenseNova-Vision a été évalué sur quatre familles de tâches et obtient des résultats de pointe ou compétitifs face à des modèles spécialistes et généralistes :

• Détection d'objets (COCO) : 56,6 mAP, à égalité avec Grounding DINO-Swin-T et surpassant Bagel, Qwen3-VL-8B, Rex-Omni et LocateAnything
• Détection par référence (RefCOCOg) : 80,5 Acc@0,5, meilleur parmi toutes les méthodes comparées
• Détection dense d'objets (Dense200) : 66,8 mAP, surpassant significativement tous les concurrents
• OCR (HierText) : 31,2 bbox, meilleur parmi les modèles généralistes
• Ancrage GUI (ScreenSpot-V2) : 49,5 bbox, meilleur parmi toutes les méthodes
• Points clés (COCO-Kpt) : 34,6 point Acc@0,5, meilleur parmi toutes les méthodes comparables
• Profondeur (NYUv2) : 0,040 AbsRel / 98,1 δ1, compétitif avec DepthAnything et FE2E
• Normales de surface (ScanNet) : 12,8 Mean / 68,9 11,25°, meilleur parmi toutes les méthodes y compris DSINE
• Segmentation (ReasonSeg) : 63,2 / 60,7 gIoU, meilleur parmi les méthodes comparées
• Pose de caméra multi-vue (CO3Dv2) : 97,4 RRA@30 / 95,4 RTA@30 / 80,1 AUC@30, meilleur parmi les modèles unifiés

Liens

• Dépôt GitHub
• Article arXiv
• Modèle Hugging Face
• Modèle ModelScope
• Jeu de données d'entraînement