SenseNova-Vision: Единая мультимодальная модель для всех задач компьютерного зрения

news

Компания SenseTime выпускает SenseNova-Vision-7B-MoT — модель с 7 миллиардами параметров, которая объединяет обнаружение, сегментацию, оценку глубины, предсказание нормалей и многовьювную геометрию в единую систему следования инструкциям — без необходимости в специализированных головах для каждой задачи.

SenseTime (商汤科技) открыла исходный код SenseNova-Vision-7B-MoT — единой мультимодальной модели (7 миллиардов параметров), которая переформулирует гетерогенные задачи компьютерного зрения (обнаружение, сегментацию, оценку глубины, предсказание поверхностных нормалей, OCR, ключевые точки и многовьювную геометрию) как генерацию текста, изображения или смешанного текста и изображения, устраняя необходимость в специализированных головах или декодерах для каждой задачи.

Модель выпущена под лицензией CC BY-NC 4.0 на Hugging Face и ModelScope, в комплекте с датасетом SenseNova-Vision-Corpus-50M и подробной статьей на arXiv.

Что делает SenseNova-Vision уникальной

Традиционные системы компьютерного зрения добавляют отдельные головы предсказания для каждой задачи: одну для обнаружения, другую для сегментации, ещё одну для глубины. SenseNova-Vision использует радикально иной подход, преобразуя все задачи компьютерного зрения в собственные пространства ввода-вывода единой мультимодальной модели:

  1. Единая формулировка задач: обнаружение, сегментация, глубина, нормали, OCR, привязка к GUI, ключевые точки, оценка позы камеры и реконструкция многовьювной карты точек — все выражается через инструкции на естественном языке и необязательные визуальные подсказки, при этом выходные данные генерируются в виде текстовых записей, плотных карт изображений или смешанных текстово-изображений.

  2. Нет специализированных голов: модель использует единую архитектуру без отдельных голов обнаружения, сегментации, глубины или геометрии. Результаты могут быть декодированы обратно в совместимые с бенчмарками форматы (ограничивающие рамки, маски, карты глубины, карты нормалей, карты точек, параметры камеры).

  3. Широкий охват задач: одна и та же модель обрабатывает структурированное визуальное понимание (обнаружение, референсную локализацию, OCR, привязку к GUI, ключевые точки), плотное геометрическое предсказание (глубина, нормали поверхности), сегментацию (семантическую, референсную, логическую, интерактивную, привязанный диалог) и многовьювную визуальную геометрию (реконструкция карты точек, оценка позы камеры).

  4. Варианты задач, определяемые языком: инструкции на естественном языке позволяют гибко определять задачи, выходя за рамки фиксированных схем бенчмарков, предоставляя пользователям возможность на ходу создавать собственные варианты задач.

Архитектура и доступность

ДеталиСсылка
МодельHugging Face: sensenova/SenseNova-Vision-7B-MoT
ModelScopeSenseNova/SenseNova-Vision-7B-MoT
КодGitHub: OpenSenseNova/SenseNova-Vision
СтатьяarXiv 2607.06560
ДатасетHF: SenseNova-Vision-Corpus-50M
ЛицензияCC BY-NC 4.0 (некоммерческая)

Быстрый старт

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

Скачайте веса модели:

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

Запустите подготовленный пример для проверки установки:

bash scripts/run_sensenova_vision.sh example

Запустите один запрос на инференс, например, бинарную сегментацию для "person":

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

Запустите веб-демонстрацию Gradio:

bash scripts/run_sensenova_vision.sh web_demo

Основные результаты бенчмарков

SenseNova-Vision была оценена на четырёх семействах задач и показывает результаты на уровне или превосходящие современные как по сравнению со специализированными, так и с универсальными моделями:

  • Обнаружение объектов (COCO): 56.6 mAP: на уровне Grounding DINO-Swin-T и превосходит Bagel, Qwen3-VL-8B, Rex-Omni и LocateAnything
  • Референсное обнаружение (RefCOCOg): 80.5 Acc@0.5: лучший среди всех сравниваемых методов
  • Плотное обнаружение объектов (Dense200): 66.8 mAP: значительно превосходит всех конкурентов
  • OCR (HierText): 31.2 bbox: лучший среди универсальных моделей
  • Привязка к GUI (ScreenSpot-V2): 49.5 bbox: лучший среди всех методов
  • Ключевые точки (COCO-Kpt): 34.6 point Acc@0.5: лучший среди всех сравнимых методов
  • Глубина (NYUv2): 0.040 AbsRel / 98.1 δ1: конкурирует с DepthAnything и FE2E
  • Нормали поверхности (ScanNet): 12.8 Mean / 68.9 11.25°: лучший среди всех методов, включая DSINE
  • Сегментация (ReasonSeg): 63.2 / 60.7 gIoU: лучший среди сравниваемых методов
  • Многовьювная поза камеры (CO3Dv2): 97.4 RRA@30 / 95.4 RTA@30 / 80.1 AUC@30: лучший среди унифицированных моделей

Ссылки

SenseNova-Vision: Единая мультимодальная модель для всех задач компьютерного зрения | ComfyUI Wiki