SANA-Video 2.0 5B 720p: NVIDIAの効率的な動画生成モデル

アーキテクチャ

SANA-Video 2.0 5Bは、32レイヤー、隠れサイズ2,560、トレーニング可能パラメータ数4,466,980,960（4.47B）のSanaVideo2_5Bリニアdiffusion transformerです。アテンションはハイブリッド構成です。75%のゲート付き双方向リニアアテンションレイヤーがシーケンスの大部分を担い、25%の周期的な密なsoftmaxアテンションアンカーがグローバルな混合を復元し、タイムステップに依存しない共有Attention Residual集約が8レイヤーごとに実行されます。テキスト条件付けはgoogle/gemma-2-2b-itから供給され、潜在空間は128潜在チャンネルと(8, 32, 32)の時間的・空間的圧縮を持つLTX 2.3 VAEの契約に従います。

公開されている.pthは推論用の成果物です。SANA-Video 2.0のEMAベースウェイトとReFLポストトレーニングアダプターはリリース前にマージされているため、このファイルにはマージ済みのstate_dictのみが含まれ、オプティマイザ、スケジューラ、単体のLoRAテンソルは含まれていません。公式のエントリポイントはtransformerをBF16にキャストします。

出力仕様とサンプリング

デフォルトの720pバケットは736 x 1280、193フレーム、24 FPSで、1クリップあたり約8秒です。両方の空間サイズは32で割り切れる必要があり、そのため幅はよく知られた1280単体ではありません。またフレーム数は(num_frames - 1) % 8 == 0を満たす必要があります。検証済みのリリース例では、BF16でCFG 8、flow shift 12、50ステップ、motion score 20で実行します。

4ステッププレビューはLoRAではなくフルモデルのDMD蒸留であり、テキストから動画へのみに対応します。CFG 1でsana_shift6_dpmシグマプロフィールを使用して実行され、打ち切られたDPM-Solver軌跡は使用しません。4つの固定ステージのそれぞれで、モデルはvelocityを予測し、x0を計算し、次のシグマ（0.9998、0.9472、0.8569、0.6664）で同じシード生成器からの新たなドローを用いて再ノイズ化します。プレビューは16 FPSで81フレームを出力し、モデルズーのリストでは24 FPSで193フレームを出力します。

利用方法

推論はSanaリポジトリのmainブランチを通じて実行され、checkpointはHugging Faceリポジトリから直接ロードされます。また、Diffusers形式のLTX 2.3 VAEをoutput/pretrained_models/LTX-2.3-Diffusers/に配置するか、vae.vae_pretrainedで指定する必要があります。モデルカードとモデルズーでは、このPythonパスが唯一サポートされるルートとして記載されており、SANA-Video 2.0向けのComfyUI統合はアップストリームでは文書化されていません。

リソース

• Sanaリポジトリ と SANA-Video 2.0ドキュメント
• SANA-Video論文
• SANA-Video 2.0プロジェクトページ
• 検証済み5B 720pリリースクリップ