SANA-Video: NVIDIAの動画向けリニア拡散Transformer

バリアント

上記のバリアントを選択すると、厳選された重みのダウンロード、チュートリアル、関連情報を確認できます。

SANA-Videoシリーズについて

SANA-Videoは、NVIDIAのSANAリニア拡散Transformerを画像から動画へと拡張したものです。自己アテンションはリニアアテンションに置き換えられ、トークン数の多い動画生成を支配していた二次コストを排除しています。さらに、Mix-FFN内にRotary位置埋め込みと1D時間畳み込みを追加することで、事前学習済みの画像モデルを継続的な事前学習によって動画へ適応できるようにしています。定数メモリのKVキャッシュを備えたブロックリニアアテンションモジュールは、以前のすべてのブロックのコンテキストを一定のメモリコストで保持し、これが分単位の長さの生成を実用的にしています。著者らは、64基のH100 GPUで12日間というトレーニング予算を報告しています。

SANA-Video 2.0が現在の世代です。5B 720pチェックポイントは、75%のゲート付き双方向リニアアテンションレイヤーと25%の周期的な高密度softmaxアテンションアンカーを組み合わせ、8レイヤーごとに共有Attention Residualsを集約します。32レイヤー、隠れ次元2,560、学習可能パラメータ4.47Bで構成されています。条件付けにはGemma 2 2B ITをテキストエンコーダーとして使用し、デコードには128潜在チャンネルと(8, 32, 32)の時間・空間圧縮を備えたLTX 2.3 VAEの仕様を使用します。このチェックポイントは、テキストから動画へとテキスト＋画像から動画への両方についてReFLでポストトレーニングされているため、最初のフレームを追加の条件として与えることができます。

モデルハブでは、公開されている両方の重みを1つのバリアントとして提示しています。50ステップの720pベースチェックポイントは、テキストから動画へとテキスト＋画像から動画への同時生成の入口であり、4ステップDMD蒸留はテキストから動画へのみに対応する別個の研究プレビューとして配布されています。公式モデルズーでは14B 480pモデルが近日公開として告知されていますが、まだリリースされていません。

利用可能性

アップストリームでは、Sanaリポジトリのmainブランチを推論のエントリーポイントとして記載しており、Diffusers形式のLTX 2.3 VAEをローカルに用意することを前提としています。モデルカードおよびモデルズーには、SANA-Video 2.0向けのComfyUIノードパックの記載はありません。