SenseNova-U1.5 プレビュー: SenseTime による 4K 画像生成と編集

SenseTime は、ネイティブに統合されたマルチモーダルモデルの U シリーズ最新モデルである SenseNova-U1.5-8B-MoT(プレビュー) をオープンソース化しました。NEO-unify アーキテクチャを基盤とするこのプレビューは、画像生成と画像編集に焦点を当てており、テキストから最大 ネイティブ 4K 画像 を生成し、単一または複数の参照画像に対する詳細な編集指示に従うことができます。

SenseNova-U1.5(プレビュー)の技術的進歩の概要

このリリースは、オリジナルの SenseNova-U1 シリーズに続くもので、オープンソース化された事前トレーニング用ランチャーと設定ファイルとともに提供されます。重みは Hugging Face と ModelScope で入手できます。

U1.5 で改善された点

パッチ単位の予測からパッチ結合型再構成へ

オリジナルの U1 は、MLP ヘッドを使用して各 RGB パッチを独立して再構成するため、高解像度ではトークンの境界がグリッドパターンとして現れる可能性があります。U1.5 は、ConvDecoder によるプログレッシブな空間再構成を採用しています。視覚トークンは 2D 特徴グリッドに再形成され、複数の Pixel Shuffle ステージを通じてアップサンプリングされ、中間の 3x3 畳み込みにより隣接するパッチが相互作用し、連続した画像に融合されます。これにより、グリッド状のアーティファクトが大幅に抑制され、下流のファインチューニング中の堅牢性が向上します。

指示追従から視覚的保存へ

U1.5 は、画像編集コーパスを広範囲にわたってクリーニング、フィルタリング、合成し、中国語と英語のバランスを改善し、単一画像および複数画像の参照設定の両方のカバレッジを拡大します。エンコーダーフリーのアーキテクチャは、参照画像トークンの単一シーケンスのみを使用して、被写体の同一性と構造の保存とともに、強力な指示追従を実現します。

形式への露出からクロスタスク汎化へ

生成および編集コーパスには単純な JSON 形式のプロンプトしか含まれていませんが、U1.5 は長く構造化された指示にもよく汎化します。これは、ネイティブに統合されたマルチモーダルモデリングが、専用のプロンプトテンプレートトレーニングなしで、理解力と視覚プランニングスキルをタスク間で転送できることを示しています。

ショーケース: テキストから画像へ

SenseNova-U1.5 によって生成された詳細なレトロ広告ポスター。密集したテキストレンダリングと複雑なレイアウト制御を示しています

微細なテクスチャとライティングのディテールを備えたフォトリアリスティックな水中シーン

ショーケース: 画像編集

スタイル転送、被写体の同一性の保存、領域制御可能な変更をカバーする編集例

ベンチマークのハイライト

Qwen-Image Bench では、U1.5-Preview はすべてのカテゴリでオリジナルの U1 から改善されており、特に美的品質とアライメントで最大の向上が見られます。Prompt Enhance (PE) を有効にすると、プレビューは全体で 55.17 (EN) / 55.22 (ZH) をスコアリングし、同じ評価における Qwen Image 2 に近づきます。

画像編集では、U1.5-Preview は ImgEdit-Bench 全体で 4.37 を達成し(U1 の 3.90 から上昇)、WeEdit で平均 6.852 を記録し、報告されている比較では Qwen-Image-2、FireRed-Image-Edit、LongCat-Image-Edit を上回っています。

ComfyUI サポート

コミュニティ開発者である smthemex 氏が、ComfyUI_SenseNova_U1 カスタムノードパックに U1.5 サポート を追加しました。GGUF、INT8、FP8 の重み形式をカバーしています(smthem/SenseNova-U1-8B-MoT-Merger-gguf を参照)。このパックは、A3B-MoT MoE バリアント、8 ステップ LoRA、Infographic-V3 チェックポイントもサポートしています。

クリックして拡大。カスタムノードパックには、テキストから画像へ、および画像から画像への実行可能なサンプルワークフローが同梱されています。

ローカルで実行するには、カスタムノードをインストールし、量子化された重みを ComfyUI/models/gguf/ または ComfyUI/models/diffusion_models/ に配置します:

cd ComfyUI/custom_nodes
git clone https://github.com/smthemex/ComfyUI_SenseNova_U1
pip install -r ComfyUI_SenseNova_U1/requirements.txt

入手方法

モデルの重み: Hugging Face の sensenova/SenseNova-U1.5-8B-MoT-Preview および ModelScope の SenseNova-U1.5-8B-MoT-Preview
コード: OpenSenseNova/SenseNova-U1 (推論、トレーニング、PE ツール)
論文: arXiv 2605.12500
ComfyUI ノード: smthemex/ComfyUI_SenseNova_U1

公式の Python 推論では、リファレンス実装とともに cfg_scale=4.0、timestep_shift=3.0、num_steps=50 を使用します。SenseNova は、生成品質をさらに高めるためのオプションの Prompt Enhance (PE) と参照画像検索ツールも提供しています。