SenseNova-Vision：统一多模态模型，覆盖所有视觉任务

商汤科技 (SenseTime) 已开源 SenseNova-Vision-7B-MoT，一个统一多模态模型（7B 参数），将异构计算机视觉任务——检测、分割、深度估计、表面法线预测、OCR、关键点、多视图几何——重新表述为原生文本、图像或混合文本-图像生成，无需任务特定头或解码器。

该模型以 CC BY-NC 4.0 许可证发布在 Hugging Face 和 ModelScope，同时提供 SenseNova-Vision-Corpus-50M 数据集和详细 arXiv 论文。

SenseNova-Vision 的独特之处

传统计算机视觉系统为每个任务分别添加独立的预测头——一个用于检测，另一个用于分割，再一个用于深度。SenseNova-Vision 采用了一种根本不同的方法，将所有视觉任务投射到统一多模态模型的原生输入输出空间中：

1. 统一任务表述 —— 检测、分割、深度、法线、OCR、GUI 定位、关键点、相机姿态估计和多视点云重建，全部通过自然语言指令和可选的视觉提示表达，输出为文本记录、密集图像图或混合文本-图像响应。

2. 无任务特定头 —— 模型依赖单一架构，没有独立的检测、分割、深度或几何头。输出可解码回基准兼容格式（边界框、掩码、深度图、法线图、点云、相机参数）。

3. 广泛任务覆盖 —— 同一模型处理结构化视觉理解（检测、指代定位、OCR、GUI 定位、关键点）、密集几何预测（深度、表面法线）、分割（语义、指代、推理、交互、基于对话的定位）以及多视图视觉几何（点云重建、相机姿态估计）。

4. 语言定义的任务变体 —— 自然语言指令允许灵活的任务定义，超出固定基准的模式，用户可即时定义自定义任务变体。

架构与可用性

快速开始

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

下载模型权重：

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

运行示例验证安装：

bash scripts/run_sensenova_vision.sh example

运行单次推理请求——例如，对“person”进行二值分割：

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

启动 Gradio Web 演示：

bash scripts/run_sensenova_vision.sh web_demo

基准测试亮点

SenseNova-Vision 在四个任务家族上进行了评估，并在专用模型和通用模型上都取得了最先进或有竞争力的结果：

• 目标检测 (COCO)： 56.6 mAP —— 与 Grounding DINO-Swin-T 持平，超越 Bagel、Qwen3-VL-8B、Rex-Omni 和 LocateAnything
• 指代检测 (RefCOCOg)： 80.5 Acc@0.5 —— 在所有对比方法中最佳
• 密集目标检测 (Dense200)： 66.8 mAP —— 显著优于所有竞争对手
• OCR (HierText)： 31.2 bbox —— 在通用模型中最佳
• GUI 定位 (ScreenSpot-V2)： 49.5 bbox —— 在所有方法中最佳
• 关键点 (COCO-Kpt)： 34.6 point Acc@0.5 —— 在所有可比方法中最佳
• 深度 (NYUv2)： 0.040 AbsRel / 98.1 δ1 —— 与 DepthAnything 和 FE2E 相当
• 表面法线 (ScanNet)： 12.8 Mean / 68.9 11.25° —— 在所有方法（包括 DSINE）中最佳
• 分割 (ReasonSeg)： 63.2 / 60.7 gIoU —— 在所对比的方法中最佳
• 多视图相机姿态 (CO3Dv2)： 97.4 RRA@30 / 95.4 RTA@30 / 80.1 AUC@30 —— 在统一模型中最佳

链接

• GitHub 仓库
• arXiv 论文
• Hugging Face 模型
• ModelScope 模型
• 训练数据集