Bernini:字节跳动的语义规划视频框架
ComfyUI Wiki
Bernini 是字节跳动开源的视频生成与编辑框架:由语言模型担任语义规划器,配合基于 Wan2.2 的视频渲染器,采用 Apache-2.0 许可证发布。
B
Bernini by ByteDance
视频生成视频编辑DiT字节跳动Bernini 是字节跳动开源的视频生成与编辑框架。多模态语言模型充当语义规划器,负责撰写镜头规划;扩散 Transformer 渲染器则把该规划渲染成视频。同一套流水线覆盖文生视频、参考生视频、视频编辑和美学迁移,并以 diffusers 格式发布,可直接用于 ComfyUI。
| 开发者 | 字节跳动 |
| 架构 | 语义规划器(多模态 LLM)+ 基于 Wan2.1/2.2 骨干网络的 DiT 视频渲染器 |
| 许可证 | Apache-2.0 |
| 生成模式 | 文生视频、参考生视频、视频编辑、美学迁移 |
| 精度 | fp16、fp8、int8、MXFP8、NVFP4(因发布版本和 ComfyUI 打包而异) |
变体
| 变体 | 描述 | 许可证 | 发布时间 |
|---|---|---|---|
| Bernini-R | DiT 视频渲染器组件:MLLM 语义规划器加 Wan2.1/2.2 渲染器,用于生成与编辑 | Apache-2.0 | 2026-06 |
| Bernini v2 | diffusers 格式的完整语义规划流水线:Qwen2.5-VL 规划器、Wan2.2 双 DiT 渲染器,参考引导编辑能力更强 | Apache-2.0 | 2026-08 |
选择上方任一变体,即可查看精选权重下载、教程及相关信息。
Bernini 的功能
- 语义规划:多模态语言模型在渲染之前,先把提示词和所有参考图像转换为明确的镜头规划,从而让多主体场景和编辑操作始终贴合目标。
- 一套流水线,多种任务:文生视频、参考生视频、视频转视频编辑、参考引导编辑和美学迁移,全部通过同一套规划器和渲染器运行。
- 以 diffusers 优先发布:字节跳动以 diffusers 格式发布该流水线,因此可用标准工具加载,并由社区重新打包用于 ComfyUI。
ComfyUI 支持
Bernini 在 ComfyUI 中通过社区重新打包提供,而非官方节点包。Bernini-v2-ComfyUI 包提供 FP8 和 NVFP4 权重,以及一个覆盖全部六项支持任务的工作流。
评论
使用 GitHub 登录后即可参与讨论。