StarVector: 画像とテキストからSVGコードを生成する新しいツール

最近、StarVectorというオープンソースプロジェクトが、トップコンピュータビジョン会議CVPR 2025での受理を発表しました。このプロジェクトは、画像やテキストの説明からSVG（スケーラブルベクターグラフィックス）コードを自動生成できるマルチモーダル大規模言語モデルに基づいたソリューションを提供します。

オンライン体験

以下のインタラクティブデモを通じて、StarVectorの画像からSVGへの機能を直接体験できます：

このデモを通じて、自分の画像をアップロードし、リアルタイムでSVG生成の効果を確認し、生成されたSVGコードを取得できます。

StarVectorとは？

StarVectorは、SVG生成タスクのために特別に設計されたマルチモーダルビジョン・ランゲージモデルです。主に2つの機能を実現できます：

1. 画像からSVG: ビットマップ画像をSVGベクターコードに変換します。
2. テキストからSVG: テキストの説明に基づいて対応するSVGグラフィックスを生成します。

従来のベクター化ツールとは異なり、StarVectorは単に曲線フィッティングを行うのではなく、画像の意味構造を理解し、適切なSVG基本要素（円、ポリゴン、テキストなど）を使用して、より簡潔で正確なベクターグラフィックコードを生成します。

技術アーキテクチャと動作原理

StarVectorは、画像ベクター化タスクをコード生成タスクに変換する革新的なマルチモーダルアーキテクチャを採用しています。研究チームは、StarCoder（コード生成の大規模モデル）に基づいてモデルアーキテクチャを構築し、SVGコード空間で直接動作できるようにしています。

画像からSVGへの変換を行う際、画像はまず視覚エンコーダによって視覚トークンに投影され、その後モデルが対応するSVGコードを生成します。テキストからSVG生成の場合、モデルは画像を提供する必要なくテキスト指示を直接受け取り、まったく新しいSVGグラフィックスを作成します。

StarVectorのトレーニングは、2段階の方法を採用しています：

• 事前トレーニング段階: SVG-Stackデータセット（210万サンプルを含む）で画像からSVGへのマッピング能力を学習します。この段階で、モデルはさまざまなベクターグラフィック要素を扱う基礎的な能力を学びます。
• ファインチューニング段階: 特定のドメインデータセット（SVGフォント、SVGアイコンなど）でのさらなる最適化を行い、特定のタスクに対するモデルのパフォーマンスを向上させます。

プロジェクトは、異なるニーズに応じて2つのモデルバージョンを提供します：

• StarVector-1B: 10億パラメータを持ち、リソースが限られた環境に適しており、パフォーマンスと効率のバランスを取ります。
• StarVector-8B: 80億パラメータを持ち、最高の生成品質を提供し、究極の効果を追求するシナリオに適しています。

主要な技術革新

StarVectorは、いくつかの重要な技術的ブレークスルーをもたらします：

意味理解とコンパクトな表現

従来のベクター化手法（AutoTrace、Potraceなど）は主に曲線フィッティングに依存し、画像の意味を理解していないため、長くて編集が難しいパスを生成することが多いです。StarVectorは、マルチモーダル分析を通じて意味的に関連するSVGプリミティブ（<circle>、<text>など）を直接生成でき、より簡潔で編集可能なコードを実現します。

革新的な評価指標

プロジェクトは、ベクターグラフィックス専用の評価指標（DinoScoreなど）を導入し、従来のピクセルレベルの指標（MSEなど）がベクターグラフィックスのトポロジー構造を正確に捉えられない問題に対処し、評価結果を人間の視覚的知覚に近づけます。

既存手法との比較

SVG-Benchベンチマークテストでは、StarVectorモデル（特に8Bバージョン）が既存のベクター化手法を大幅に上回ります：

比較チャートは、さまざまな画像を処理する際の異なる手法の効果を示しています。StarVectorによって生成されたSVGコードは、より簡潔で、元の画像の構造と意味を正確に捉えていることが明らかです。結果は視覚的に明確で、生成されたコードは後で編集や修正が容易です。

データセットとベンチマークテスト

StarVectorをトレーニングし評価するために、研究チームは2つの重要なリソースを作成しました：

SVG-Stackデータセット

アイコン、チャート、フォントなど、さまざまなベクターグラフィックスをカバーする210万サンプルを含む大規模で多様なデータセットです。このデータセットにより、モデルはさまざまなSVGプリミティブを扱う能力を学び、さまざまなタイプのグラフィックスに対して良好な一般化を達成します。

SVG-Bench評価ベンチマーク

3つの主要なタスクをカバーする10のサブデータセットを含む包括的な評価ベンチマークです：

• 画像からSVG生成
• テキストからSVG生成
• チャート生成

各サブデータセットは異なる特性と難易度を持ち、評価結果をより包括的で信頼性の高いものにします。

アプリケーションシナリオと制限

StarVectorは、特に以下のアプリケーションシナリオに適しています：

• ウェブおよびUIデザイン: アイコン、ボタン、その他のインターフェース要素を効率的に変換します。
• 技術的チャートとフローチャート: 手描きまたはラスターチャートを編集可能なベクターフォーマットに変換します。
• フォントとロゴデザイン: スケッチやビットマップロゴを正確なベクター版に変換します。
• データビジュアライゼーション: チャートやグラフィックスの明確でスケーラブルなベクター表現を提供します。

現在のStarVectorバージョンには、以下の領域で特定の制限があります：

• 自然画像（風景やポートレートなど）に対してはパフォーマンスが悪く、トレーニングデータには複雑なテクスチャや照明情報が含まれていません。
• 非常に複雑なイラストに対して結果を過度に単純化する可能性があります。
• 非常に大きな画像を処理するには、より長い推論時間が必要になる場合があります。

デプロイと使用

StarVectorは、さまざまな使用シナリオに対応するためのさまざまなデプロイオプションを提供します：

HuggingFace API

既存のプロジェクトに迅速に統合できる準備完了のモデルインターフェースを提供します。ユーザーは、簡単なAPI呼び出しを通じて画像をSVGコードに変換できます。

VLLM加速バックエンド

Paged Attention技術を通じて推論速度を最適化し、高同時性シナリオ（バッチ画像処理など）をサポートします。このデプロイ方法は、大量の画像を処理する必要がある生産環境に特に適しています。

ローカルデプロイとデモ

プロジェクトは完全なデプロイガイドとGradioデモインターフェースを提供し、ユーザーがローカル環境でモデルを実行し、リアルタイムで結果を表示できるようにします。デモインターフェースは、画像のアップロードやテキストの入力をサポートし、異なるモデル出力の比較を視覚化します。

オープンソースの貢献と今後の開発

StarVectorプロジェクトは、GitHubで完全にオープンソース化されており（Apache 2.0ライセンス）、完全なコード、事前トレーニング済みモデル、および評価ツールを提供しています。研究チームは、トレーニングと評価のためにSVG-StackおよびSVG-Benchデータセットも公開しており、ベクターグラフィック生成の分野での研究に重要なリソースを提供しています。

今後、研究チームは以下の分野でStarVectorをさらに改善する計画です：

• 自然画像を処理する能力を向上させる。
• ユーザーが生成プロセス中に特定のパラメータを指定できるように、より詳細な制御オプションを提供する。
• 推論時間とリソース要件を削減するためにモデルのパフォーマンスを最適化する。
• 3Dモデル生成や動的SVG作成など、より多くのアプリケーションシナリオに拡大する。

関連リンク

• プロジェクトGitHubリポジトリ
• プロジェクト公式ウェブサイト
• オンラインデモ
• 論文リンク
• SVG-Stackデータセット
• SVG-Bench評価ベンチマーク
• StarVector-1Bモデル
• StarVector-8Bモデル