SANA-Video 2.0 4 ステップ プレビュー:NVIDIA の高速 720p ビデオモデル

ComfyUI Wikinews

NVIDIA が SANA-Video 2.0 5B の DMD 蒸留版 4 ステップ プレビューをリリース。BF16 CFG-1 推論と 4 段階サンプリング契約により、720p 81 フレームの動画を生成します。

NVIDIA の SANA チームが、SANA-Video 2.0 5B 720p の蒸留版4 ステップ研究プレビューをリリースしました:Efficient-Large-Model/SANA-Video_2.0_5B_720p_4step。この checkpoint では、4 つのサンプリングステージだけで 736×1280、81 フレーム(16 FPS)のテキストから動画への生成が可能です。出典:HF リポジトリ README。

概要

このプレビューは、LoRA アダプターではなく、フルモデルの DMD 蒸留です。グローバルステップ 1000 の DMD EMA エクスポートは、ReFL ステップ 500 アダプターをマージした後の SANA-Video 2.0 SFT モデルから初期化され、その後 DMD がトランスフォーマー全体を更新します。アーキテクチャは、ゲート付き双方向リニアアテンションレイヤーの 75% と、周期密ソフトmax アテンションアンカーの 25% を組み合わせ、8 レイヤーごとに共有アテンション残差集約を行います。テキストエンコーダーは google/gemma-2-2b-it で、VAE は 128 潜在チャンネルを持つ LTX 2.3 です。

SANA-Video 2.0 4 ステップ プレビューサンプル

検証済みのシード 4 サンプル:花柄のヴィンテージな部屋にいる漫画風のオスドリ。正確にリリースされた checkpoint と設定を使用して生成されました。出典:SANA-Video 2.0 5B 720p 4-step

4 段階サンプリング契約

このモデルは、切り捨てられた DPM-Solver 軌道を使用しません。各固定ステージでモデルは速度を予測し、x0 を計算し、同じシードジェネレーターからの新しい描画で次のシグマで再ノイズを加えます:

ステージ物理シグマモデル埋め込み時刻
10.9998999
20.9472947
30.8569856
40.6664666

推論は、sana_shift6_dpm シグマプロフィールおよび flow_shift 無効で、CFG 1 で BF16 で実行されます。リリースされた checkpoint は、これらの正確な設定下で、完全な VBench T2V スイート(4,730 プロンプト、全 16 サイズ)で評価されました。

提供状況

この checkpoint は、.pth EMA トランスフォーマーに加えて、クリーンな 5B ソースタワー構成として提供されます。アップストリーム PR がマージされるまで、推論には Sana リポジトリ のプレビューブランチ(feat/sana-video2-4step-preview)が必要で、Diffusers フォーマットの LTX 2.3 VAE を使用します。50 ステップベースリリースは、画像条件付き TI2V のエントリーポイントのままです:蒸留されたプレビューはテキストから動画専用であり、最初のフレーム画像条件付けをサポートしていません。

検証済みの 4 ステップサンプル動画(1280×736、81 フレーム、16 FPS)、シード 4 で生成されました。出典:SANA-Video 2.0 5B 720p 4-step

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
SANA-Video 2.0 4 ステップ プレビュー:NVIDIA の高速 720p ビデオモデル | ComfyUI Wiki