Ref2VA VSA: H3の参照から動画向けスパースアテンションノード

Ref2VA が密なスケジュールにとどまった理由

VSA（video sparse attention）は動画トークンを3D時空間タイルにクラスタリングし、各ブロックでその大半をプルーニングします。これが FastH3 チェックポイントが transformer のフォワードパスごとのコストを削減する仕組みです。参照から動画はこのレイアウトを崩します。Ref2VA は、生成される動画シーケンスの前に、動的なマルチモーダルセグメント、参照画像 latent、参照音声 latent、プロンプトトークンを先頭に追加します。

単純なタイリングでは異なるモダリティのトークンが同じタイルに入り、条件付けマスクを破壊してキャラクターの同一性を損ないます。そのため、参照ベースの H3 生成は密なアテンションパスを走らせ続け、テキストから動画はスパースカーネルへ移行しました。

2段階のアテンションパッチ

Ref2VA VSA は、新しいチェックポイントではなく、設計されたアテンションレイアウトでこれを解決します:

1. 密のまま除外されるプレフィックス: ジオメトリマッパーがテキスト、参照画像、参照音声のトークンをセグメント純度の高いタイルに分離し、それらは top-k プルーニングの対象外とします。参照トークンは完全に密のままなので、同一性の保持を速度と引き換えにしません。
2. 動画のみスパース: top-k プルーニングは生成された動画の key タイルにのみ厳密に適用されます。
3. ゲート移植: FastH3 VSA チェックポイントの学習済み to_gate_compress 射影行列50個を Ref2VA H3 ブロックに取り付け、同じ tile-64 Sol/VSA カーネルをパッチ済みモデル上で実行します。

作者の比較実行に使用された参照画像。

作者は、同一マシン、同一プロンプト、同一参照画像、1344x768 で同一シードの比較を公開しました。両方の列とも同じキャラクター参照を使用しています:

Ref2VA VSA: 4ステップ、動画スパース率75%、約2.2倍高速	Video Delta Net (VDN-H3): 8ステップ

密なネイティブ H3 スケジュールと比較して、リポジトリは約9倍の高速化、Video Delta Net パスと比較して8ステップに対する4ステップで約2.2倍を報告しています。

ワークフローへの組み込み

作者による 1344x768 の Ref2VA VSA 4ステップの結果。

パッチノードはモデルローダーとサンプリングチェーンの間に配置します:

UNETLoader (Ref2VA INT8)
   -> LoraLoaderModelOnly (turbo 4-step LoRA, strength 1.0)
   -> Ref2VAVSAGatePatch (fasth3_vsa_gate.safetensors, sparsity 0.75)
   -> MiniMaxH3SigmaShift (shift_video 12, shift_audio 3)
   -> BasicScheduler (steps 4) + BasicGuider -> SamplerCustomAdvanced (euler)

このノードは FastH3/VSA に含まれ、モデル、models/loras/ からのゲート safetensors ファイル、sparsity 値を受け取ります。README の4ステップレシピでは simple スケジューラーで 0.75 のスパース率を使用します。ノード自体の説明では 0.50〜0.70 から始め、より高い値に上げる前に同じ密なシードと比較することを勧めています。同じカテゴリにはオリジナルのテキストから動画パッチである FastH3 VSA-H3 Patch (tile64) も含まれるため、2つのパスは1つのインストールを共有できます。

ワークフロー

リポジトリには、より軽量な UI プレビュー用の ref2va_vsa_4step_with_preview.json、API フォーマット用の ref2va_vsa_4step_api.json、そして FastH3 VSA チェックポイントをローカルに持っている場合に fasth3_vsa_gate.safetensors を再構築するための tools/extract_vsa_gate.py も含まれます。

入手方法

Ref2VA VSA は Apache-2.0 のカスタムノードです。Kablex/ComfyUI-Ref2VA-VSA を ComfyUI/custom_nodes にクローンし、再起動して、FastH3/VSA の下にあるノードを探してください。H3 サポートを備えた最新の ComfyUI と、CUDA Sol-Attention プリミティブを含む comfy-kitchen が必要です。スパースカーネル自体がそのパッケージ由来だからです。