SANA-Video:NVIDIA 线性扩散 Transformer 视频生成模型
SANA-Video 是 NVIDIA 主打效率的视频生成系列:5B 720p checkpoint 可根据文本或首帧渲染 736x1280 视频片段,并提供 4 步 DMD 预览。
NVIDIA 的 SANA-Video
视频生成文生视频图生视频线性 DiTNVIDIANVIDIA 基于 SANA 线性扩散 Transformer 构建的高效视频生成系列。SANA-Video 2.0 5B 720p 经过后训练,可同时支持 736x1280 的文生视频和文本图像生视频,另有一个 4 步 DMD 研究预览,以细节换取四阶段采样器。
变体
| 变体 | 描述 | 许可证 | 发布日期 |
|---|---|---|---|
| SANA-Video 2.0 5B 720p | 5B 级线性扩散 Transformer,经后训练支持文生视频和文本图像生视频,附带 50 步基础 checkpoint 以及 4 步 DMD 预览 | Apache 2.0 | 2026-08 |
在上方选择一个变体,即可获取精选权重下载、教程及相关信息。
关于 SANA-Video 系列
SANA-Video 将 NVIDIA 的 SANA 线性扩散 Transformer 从图像扩展到视频。自注意力被线性注意力取代,从而消除了在 token 密集的视频生成中占主导地位的二次方开销;该设计还在 Mix-FFN 中加入了旋转位置嵌入和一维时间卷积,使预训练的图像模型能够通过继续预训练适配到视频。带有常量内存 KV 缓存的块线性注意力模块以固定的内存开销保留每一个上一个块的上下文,这正是让分钟级生成变得可行的关键。作者给出的训练预算为在 64 张 H100 GPU 上训练 12 天。
SANA-Video 2.0 是当前一代。5B 720p checkpoint 混合了 75% 的门控双向线性注意力层与 25% 的周期性稠密 softmax 注意力锚点,并每 8 层聚合一次共享的 Attention Residuals。它共有 32 层、隐藏大小为 2,560、可训练参数为 4.47B。条件使用 Gemma 2 2B IT 作为文本编码器,解码使用 LTX 2.3 VAE 约定,具有 128 个 Latent 通道和 (8, 32, 32) 的时间与空间压缩。该 checkpoint 使用 ReFL 针对文生视频和文本图像生视频进行后训练,因此可以额外提供首帧作为条件。
模型中心将这两份已发布的权重呈现为一个变体。50 步 720p 基础 checkpoint 是文生视频与文本图像生视频联合生成的入口,而 4 步 DMD 蒸馏则作为独立的研究预览分发,仅支持文生视频。官方模型库还宣布 14B 480p 模型即将推出,但目前尚未发布。
可用性
上游文档将 Sana 仓库 的 main 分支作为推理入口,并要求在本地提供 Diffusers 格式的 LTX 2.3 VAE。模型卡片和模型库均未记录适用于 SANA-Video 2.0 的 ComfyUI 节点包。
评论
使用 GitHub 登录后即可参与讨论。