ComfyUI 向け SenseNova-U1.5 ConvRot: 12GB GPU で動作する 50GB モデル

リリース内容

2 つの量子化チェックポイントと公式の高速化 LoRA：

両方のチェックポイントは ComfyUI/models/diffusion_models/SenseNovaU1.5/ に、LoRA は ComfyUI/models/loras/ に入れます。推論は、ConvRot 対応フォークである T8 wrapper ノードを通じて行われます。これには INT8 用の明示的な活性化回転と手動デ量子化、Comfy-Org の comfy-kitchen を通じた W4A8 用のカーネルルーティング、および ComfyUI のウェイトストリーミングがパックされた量子化テンソルを破損させないようにするランタイムガードが含まれています。

品質

同シードのフル pipeline A/B 実行で bf16 オリジナルと比較して測定：

bf16 (リファレンス)	INT8 ConvRot (同シード)	ハイブリッド W4A8 (同シード)
リファレンス	ピクセル差 0.43%	視覚的に区別不可能

INT8 バリアントは、フル pipeline の同シード A/B で 0.43% のピクセル差を示し、レイヤーごとの重み再構築エラーは 2% を大きく下回ります。ハイブリッドは、4 ビットレイヤーで約 7% の相対 L2 エラー（Lloyd-Max コードブック、グループサイズ 16、FP8 グループスケール）を示しますが、同シードテストでは bf16 と視覚的に区別できません。同シードの軌跡はカオティックなため、著者は画像をピクセル比較ではなく品質サンプルとして提示しています。

ハイブリッドの理由

リリースの背景にある興味深い発見：SenseNova-U1.5 は後半のレイヤーでは真の W4A8 活性化量子化に耐えられますが、最初のレイヤーでは耐えられません。最初のトランスフォーマーブロックを量子化するとプロンプトの整合性が失われますが、レイヤー 18 以上は W4A8 への量子化が透過的に行われます。著者はハイブリッドチェックポイントの段階的な二分探索で境界を実験的に特定し、その後、2 つの独立して検証されたチェックポイントのバイトレベルマージによってハイブリッドファイルを生成しました。そのため、マージ中にどのレイヤーも再量子化されることはありませんでした。

パフォーマンス

RTX 4070 12 GB では、ウェイトが VRAM を超えていても両バリアントは高速に動作します。ComfyUI は必要に応じてウェイトをストリーミングし、量子化フォーマットはステップあたり 3-4 倍少ないバイト数を移動しながら高速な整数 tensor-core カーネルで計算するため、オーバーフローが速度低下の原因になることはありません。同じカード上の bf16 はステップあたり約 47 GB をストリーミングし、大幅に低速です。

はじめに

1. カスタムノードをインストール：ComfyUI/custom_nodes/ に git clone https://github.com/Milor123/ComfyUI-SenseNova-U1.5-ConvRot し、comfy-kitchen >= 0.2.31 をインストール済み状態にする（ComfyUI コミット 82f839f5 でテスト済み）。
2. 推奨の INT8 チェックポイント（またはハイブリッド）を ComfyUI/models/diffusion_models/SenseNovaU1.5/ に、速度 LoRA を ComfyUI/models/loras/ にダウンロードします。
3. リポジトリの examples/ フォルダーから例のワークフローのいずれかを実行してください：