SenseNova-Vision: すべてのビジョンタスクのための統合マルチモーダルモデル

商湯科技（SenseTime） は、SenseNova-Vision-7B-MoT をオープンソース化しました。これは、異種のコンピュータビジョンタスク（検出、セグメンテーション、深度推定、表面ノーマル予測、OCR、キーポイント、マルチビュー幾何学）を、ネイティブなテキスト、画像、またはテキストと画像の混合生成として再構成し、タスク固有のヘッドやデコーダを不要にする統合マルチモーダルモデル（7Bパラメータ）です。

このモデルは、CC BY-NC 4.0 ライセンスの下で、Hugging Face と ModelScope の両方で公開されており、SenseNova-Vision-Corpus-50M データセットと詳細な arXiv論文が付属しています。

SenseNova-Vision の特長

従来のコンピュータビジョンシステムは、タスクごとに個別の予測ヘッド（検出用、セグメンテーション用、深度用など）を追加していました。SenseNova-Vision は、すべてのビジョンタスクを統合マルチモーダルモデルのネイティブな入出力空間に組み込むという、根本的に異なるアプローチを採用しています。

統合タスク定式化 — 検出、セグメンテーション、深度、ノーマル、OCR、GUIグラウンディング、キーポイント、カメラ姿勢推定、マルチビューポイントマップ再構成はすべて、自然言語の指示とオプションの視覚的プロンプトを通じて表現され、出力はテキストレコード、高密度画像マップ、またはテキストと画像の混合応答として生成されます。
タスク固有のヘッドなし — このモデルは、個別の検出、セグメンテーション、深度、幾何学ヘッドを必要としない単一のアーキテクチャに依存しています。出力は、ベンチマーク互換の形式（バウンディングボックス、マスク、深度マップ、ノーマルマップ、ポイントマップ、カメラパラメータ）にデコード可能です。
広範なタスクカバレッジ — 同じモデルが、構造化された視覚理解（検出、参照位置特定、OCR、GUIグラウンディング、キーポイント）、高密度幾何予測（深度、表面ノーマル）、セグメンテーション（セマンティック、参照、推論、インタラクティブ、グラウンデッド会話）、マルチビュー視覚幾何学（ポイントマップ再構成、カメラ姿勢推定）を処理します。
言語定義のタスクバリアント — 自然言語の指示により、固定されたベンチマークスキーマを超えた柔軟なタスク定義が可能になり、ユーザーはその場でカスタムタスクバリアントを定義できます。

アーキテクチャと入手方法

詳細	リンク
モデル	Hugging Face: sensenova/SenseNova-Vision-7B-MoT
ModelScope	SenseNova/SenseNova-Vision-7B-MoT
コード	GitHub: OpenSenseNova/SenseNova-Vision
論文	arXiv 2607.06560
データセット	HF: SenseNova-Vision-Corpus-50M
ライセンス	CC BY-NC 4.0 (非商用)

クイックスタート

git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
bash setup.sh sensenova-vision
conda activate sensenova-vision

モデルウェイトをダウンロードします：

from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")

検証用に厳選された例を実行します：

bash scripts/run_sensenova_vision.sh example

単一の推論リクエストを実行します（例: 「人」のバイナリセグメンテーション）：

bash scripts/run_sensenova_vision.sh inference binary_seg "person" examples/images/2.jpg

Gradioウェブデモを起動します：

bash scripts/run_sensenova_vision.sh web_demo

ベンチマークのハイライト

SenseNova-Vision は4つのタスクファミリーにわたって評価され、専門家モデルと汎用モデルの両方に対して最先端または競争力のある結果を達成しています。

物体検出 (COCO): 56.6 mAP — Grounding DINO-Swin-T と同点で、Bagel、Qwen3-VL-8B、Rex-Omni、LocateAnything を上回る
参照検出 (RefCOCOg): 80.5 Acc@0.5 — 比較した全手法の中で最高
高密度物体検出 (Dense200): 66.8 mAP — すべての競合を大幅に上回る
OCR (HierText): 31.2 bbox — 汎用モデルの中で最高
GUIグラウンディング (ScreenSpot-V2): 49.5 bbox — 全手法の中で最高
キーポイント (COCO-Kpt): 34.6 point Acc@0.5 — 比較可能な全手法の中で最高
深度 (NYUv2): 0.040 AbsRel / 98.1 δ1 — DepthAnything および FE2E と競争力あり
表面ノーマル (ScanNet): 12.8 Mean / 68.9 11.25° — DSINE を含む全手法の中で最高
セグメンテーション (ReasonSeg): 63.2 / 60.7 gIoU — 比較した手法の中で最高
マルチビューカメラ姿勢 (CO3Dv2): 97.4 RRA@30 / 95.4 RTA@30 / 80.1 AUC@30 — 統合モデルの中で最高

SenseNova-Vision の特長

アーキテクチャと入手方法

クイックスタート

ベンチマークのハイライト

リンク