SenseNova-Vision: 모든 비전 작업을 위한 통합 멀티모달 모델

news

SenseTime이 7B 파라미터 모델인 SenseNova-Vision-7B-MoT를 오픈소스로 공개했습니다. 이 모델은 감지, 분할, 깊이 추정, 노멀 예측, 다중 뷰 기하학을 단일 명령어 기반 프레임워크로 통합하며, 작업별 헤드가 필요하지 않습니다.

**SenseTime(商汤科技)**이 SenseNova-Vision-7B-MoT를 오픈소스로 공개했습니다. 이 통합 멀티모달 모델(7B 파라미터)은 감지, 분할, 깊이 추정, 표면 노멀 예측, OCR, 키포인트, 다중 뷰 기하학 등 이질적인 컴퓨터 비전 작업을 텍스트, 이미지 또는 텍스트-이미지 혼합 생성으로 재정의하며, 작업별 헤드나 디코더가 필요하지 않습니다.

모델은 CC BY-NC 4.0 라이선스로 Hugging Face와 ModelScope에 공개되었으며, SenseNova-Vision-Corpus-50M 데이터셋과 상세한 arXiv 논문도 함께 제공됩니다.

SenseNova-Vision의 차별점

기존 컴퓨터 비전 시스템은 각 작업마다 별도의 예측 헤드를 붙입니다. 하나는 감지용, 다른 하나는 분할용, 또 다른 하나는 깊이용입니다. SenseNova-Vision은 모든 비전 작업을 통합 멀티모달 모델의 기본 입출력 공간으로 변환하는 근본적으로 다른 접근 방식을 취합니다.

  1. 통합 작업 정의 — 감지, 분할, 깊이, 노멀, OCR, GUI 그라운딩, 키포인트, 카메라 포즈 추정, 다중 뷰 포인트 맵 재구성 등을 자연어 명령어와 선택적 시각적 프롬프트를 통해 표현하며, 출력은 텍스트 레코드, 밀집 이미지 맵 또는 텍스트-이미지 혼합 응답으로 생성됩니다.

  2. 작업별 헤드 불필요 — 별도의 감지, 분할, 깊이, 기하학 헤드 없이 단일 아키텍처에 의존합니다. 출력은 벤치마크 호환 형식(바운딩 박스, 마스크, 깊이 맵, 노멀 맵, 포인트 맵, 카메라 파라미터)으로 디코딩 가능합니다.

  3. 광범위한 작업 커버리지 — 동일한 모델이 구조화된 시각적 이해(감지, 참조 위치 지정, OCR, GUI 그라운딩, 키포인트), 밀집 기하학 예측(깊이, 표면 노멀), 분할(의미론적, 참조, 추론, 대화형, 그라운딩 대화), 다중 뷰 시각적 기하학(포인트 맵 재구성, 카메라 포즈 추정)을 처리합니다.

  4. 언어로 정의된 작업 변형 — 자연어 명령어를 통해 고정된 벤치마크 스키마를 넘어 유연한 작업 정의가 가능하며, 사용자가 즉시 사용자 정의 작업 변형을 정의할 수 있습니다.

아키텍처 및 이용 가능성

세부사항링크
모델Hugging Face: sensenova/SenseNova-Vision-7B-MoT
ModelScopeSenseNova/SenseNova-Vision-7B-MoT
코드GitHub: OpenSenseNova/SenseNova-Vision
논문arXiv 2607.06560
데이터셋HF: SenseNova-Vision-Corpus-50M
라이선스CC BY-NC 4.0 (비상업적)

빠른 시작

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

모델 가중치 다운로드:

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

제공된 예제를 실행하여 설정 확인:

bash scripts/run_sensenova_vision.sh example

단일 추론 요청 실행 — 예를 들어 "사람"에 대한 이진 분할:

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

Gradio 웹 데모 실행:

bash scripts/run_sensenova_vision.sh web_demo

벤치마킹 하이라이트

SenseNova-Vision은 네 가지 작업 군에서 평가되었으며, 전문 모델 및 일반 모델 모두에 대해 최첨단 또는 경쟁력 있는 결과를 달성했습니다.

  • 객체 감지 (COCO): 56.6 mAP — Grounding DINO-Swin-T와 동등하며 Bagel, Qwen3-VL-8B, Rex-Omni, LocateAnything보다 우수
  • 참조 감지 (RefCOCOg): 80.5 Acc@0.5 — 비교된 모든 방법 중 최고
  • 밀집 객체 감지 (Dense200): 66.8 mAP — 모든 경쟁자 크게 능가
  • OCR (HierText): 31.2 bbox — 일반 모델 중 최고
  • GUI 그라운딩 (ScreenSpot-V2): 49.5 bbox — 모든 방법 중 최고
  • 키포인트 (COCO-Kpt): 34.6 point Acc@0.5 — 비교 가능한 모든 방법 중 최고
  • 깊이 (NYUv2): 0.040 AbsRel / 98.1 δ1 — DepthAnything 및 FE2E와 경쟁력 있음
  • 표면 노멀 (ScanNet): 12.8 Mean / 68.9 11.25° — DSINE를 포함한 모든 방법 중 최고
  • 분할 (ReasonSeg): 63.2 / 60.7 gIoU — 비교된 방법 중 최고
  • 다중 뷰 카메라 포즈 (CO3Dv2): 97.4 RRA@30 / 95.4 RTA@30 / 80.1 AUC@30 — 통합 모델 중 최고

링크

SenseNova-Vision: 모든 비전 작업을 위한 통합 멀티모달 모델 | ComfyUI Wiki