Bernini:字节跳动的语义规划视频框架

ComfyUI Wiki

Bernini 是字节跳动开源的视频生成与编辑框架:由语言模型担任语义规划器,配合基于 Wan2.2 的视频渲染器,采用 Apache-2.0 许可证发布。

B

Bernini by ByteDance

视频生成视频编辑DiT字节跳动

Bernini 是字节跳动开源的视频生成与编辑框架。多模态语言模型充当语义规划器,负责撰写镜头规划;扩散 Transformer 渲染器则把该规划渲染成视频。同一套流水线覆盖文生视频、参考生视频、视频编辑和美学迁移,并以 diffusers 格式发布,可直接用于 ComfyUI。

开发者字节跳动
架构语义规划器(多模态 LLM)+ 基于 Wan2.1/2.2 骨干网络的 DiT 视频渲染器
许可证Apache-2.0
生成模式文生视频、参考生视频、视频编辑、美学迁移
精度fp16、fp8、int8、MXFP8、NVFP4(因发布版本和 ComfyUI 打包而异)

变体

变体描述许可证发布时间
Bernini-RDiT 视频渲染器组件:MLLM 语义规划器加 Wan2.1/2.2 渲染器,用于生成与编辑Apache-2.02026-06
Bernini v2diffusers 格式的完整语义规划流水线:Qwen2.5-VL 规划器、Wan2.2 双 DiT 渲染器,参考引导编辑能力更强Apache-2.02026-08

选择上方任一变体,即可查看精选权重下载、教程及相关信息。

Bernini 的功能

  • 语义规划:多模态语言模型在渲染之前,先把提示词和所有参考图像转换为明确的镜头规划,从而让多主体场景和编辑操作始终贴合目标。
  • 一套流水线,多种任务:文生视频、参考生视频、视频转视频编辑、参考引导编辑和美学迁移,全部通过同一套规划器和渲染器运行。
  • 以 diffusers 优先发布:字节跳动以 diffusers 格式发布该流水线,因此可用标准工具加载,并由社区重新打包用于 ComfyUI。

ComfyUI 支持

Bernini 在 ComfyUI 中通过社区重新打包提供,而非官方节点包。Bernini-v2-ComfyUI 包提供 FP8 和 NVFP4 权重,以及一个覆盖全部六项支持任务的工作流。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…