SenseNova-Vision: Un Modelo Multimodal Unificado para Todas las Tareas de Visión

news

SenseTime lanza SenseNova-Vision-7B-MoT, un modelo de 7B parámetros que unifica detección, segmentación, estimación de profundidad, predicción de normales y geometría multivista en un único marco de seguimiento de instrucciones — sin necesidad de cabezales específicos por tarea.

SenseTime (商汤科技) ha publicado como código abierto SenseNova-Vision-7B-MoT, un modelo multimodal unificado (7B parámetros) que reformula tareas heterogéneas de visión por computadora —detección, segmentación, estimación de profundidad, predicción de normales de superficie, OCR, puntos clave y geometría multivista— como generación nativa de texto, imagen o mixta texto-imagen, eliminando la necesidad de cabezales o decodificadores específicos por tarea.

El modelo se publica bajo CC BY-NC 4.0 tanto en Hugging Face como en ModelScope, acompañado del conjunto de datos SenseNova-Vision-Corpus-50M y un detallado artículo de arXiv.

¿Qué Hace Diferente a SenseNova-Vision

Los sistemas tradicionales de visión por computadora añaden cabezales de predicción separados para cada tarea —uno para detección, otro para segmentación, otro para profundidad. SenseNova-Vision adopta un enfoque radicalmente diferente al incorporar todas las tareas de visión en los espacios nativos de entrada-salida de un modelo multimodal unificado:

  1. Formulación de tarea unificada — La detección, segmentación, profundidad, normales, OCR, fundamentación de GUI, puntos clave, estimación de pose de cámara y reconstrucción de mapas de puntos multivista se expresan mediante instrucciones en lenguaje natural y señales visuales opcionales, generando salidas como registros de texto, mapas de imagen densos o respuestas mixtas de texto e imagen.

  2. Sin cabezales específicos por tarea — El modelo se basa en una única arquitectura sin cabezales separados de detección, segmentación, profundidad o geometría. Las salidas se pueden decodificar nuevamente a formatos compatibles con benchmarks (cajas delimitadoras, máscaras, mapas de profundidad, mapas de normales, mapas de puntos, parámetros de cámara).

  3. Amplia cobertura de tareas — El mismo modelo maneja comprensión visual estructurada (detección, localización referencial, OCR, fundamentación de GUI, puntos clave), predicción geométrica densa (profundidad, normales de superficie), segmentación (semántica, referencial, razonamiento, interactiva, conversación fundamentada) y geometría visual multivista (reconstrucción de mapas de puntos, estimación de pose de cámara).

  4. Variantes de tarea definidas por lenguaje — Las instrucciones en lenguaje natural permiten definiciones flexibles de tareas más allá de los esquemas fijos de benchmarks, permitiendo a los usuarios definir variantes de tarea personalizadas sobre la marcha.

Arquitectura y Disponibilidad

DetalleEnlace
ModeloHugging Face: sensenova/SenseNova-Vision-7B-MoT
ModelScopeSenseNova/SenseNova-Vision-7B-MoT
CódigoGitHub: OpenSenseNova/SenseNova-Vision
ArtículoarXiv 2607.06560
Conjunto de datosHF: SenseNova-Vision-Corpus-50M
LicenciaCC BY-NC 4.0 (no comercial)

Inicio Rápido

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

Descargar los pesos del modelo:

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

Ejecutar el ejemplo seleccionado para verificar la configuración:

bash scripts/run_sensenova_vision.sh example

Ejecutar una única solicitud de inferencia — por ejemplo, segmentación binaria para 'person':

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

Iniciar la demo web de Gradio:

bash scripts/run_sensenova_vision.sh web_demo

Aspectos Destacados de Benchmarking

SenseNova-Vision fue evaluado en cuatro familias de tareas y logra resultados de última generación o competitivos frente a modelos tanto especialistas como generalistas:

  • Detección de objetos (COCO): 56.6 mAP — empatado con Grounding DINO-Swin-T y superando a Bagel, Qwen3-VL-8B, Rex-Omni y LocateAnything
  • Detección referencial (RefCOCOg): 80.5 Acc@0.5 — el mejor entre todos los métodos comparados
  • Detección densa de objetos (Dense200): 66.8 mAP — superando significativamente a todos los competidores
  • OCR (HierText): 31.2 bbox — el mejor entre modelos generalistas
  • Fundamentación de GUI (ScreenSpot-V2): 49.5 bbox — el mejor entre todos los métodos
  • Puntos clave (COCO-Kpt): 34.6 point Acc@0.5 — el mejor entre todos los métodos comparables
  • Profundidad (NYUv2): 0.040 AbsRel / 98.1 δ1 — competitivo con DepthAnything y FE2E
  • Normal de superficie (ScanNet): 12.8 Mean / 68.9 11.25° — el mejor entre todos los métodos incluyendo DSINE
  • Segmentación (ReasonSeg): 63.2 / 60.7 gIoU — el mejor entre los métodos comparados
  • Pose de cámara multivista (CO3Dv2): 97.4 RRA@30 / 95.4 RTA@30 / 80.1 AUC@30 — el mejor entre modelos unificados

Enlaces

SenseNova-Vision: Un Modelo Multimodal Unificado para Todas las Tareas de Visión | ComfyUI Wiki