AI Movie Studio 2:面向 ComfyUI 的开源电影制作工作站

ComfyUI Wikinews

AI Movie Studio 2 是一款开源 AI 电影制作工作站,通过 3D 分镜、连续性系统、长镜头模式和时间线导出驱动本地 ComfyUI。

AI Movie Studio 2 (GitHub) 是一款开源、基于浏览器的 AI 电影制作工作站,可连接您的本地 ComfyUI 实例或云 API。您在 3D 分镜中设计场景,使用已在 ComfyUI 中运行的模型生成帧,将其转换为视频片段,并在时间线上组装所有内容,然后导出到 Premiere 或 DaVinci。该项目已拥有 112+ GitHub 星标,社区在 Linux、Windows 和 Strix Halo 硬件上进行了积极测试。
AI Movie Studio 2 电影胶片条视觉图

该项目源自 Nathan McConnell,一位位于亚特兰大的虚拟制作专家和摄影部门老兵,他在 SCAD 管理 LED 影棚。第一个版本因功能列表过于庞大而崩溃,因此版本 2 从零开始重建,围绕一个目标:一个遵循实际电影制作工作流的干净界面,而不是一个功能堆砌的仪表盘。

与 ComfyUI 的工作原理

AI Movie Studio 2 本身不生成任何内容。它是建立在您现有设置之上的导演座舱:Next.js 14 前端与 FastAPI 后端通信,后端的"Driver System"适应您指向的任何引擎。本地意味着您在 127.0.0.1:8188 运行的 ComfyUI 实例;云端则意味着带有 API 密钥的 Fal.ai 或 Replicate。UI 从不改变。

AI Movie Studio 2 相机导演视图

ComfyUI 中支持的本地视频模型包括 LTX Video 2.3Wan Video(通过 Kijai 的 WanVideoWrapper)和 MiniMax H3(通过 Kijai 的 MiniMax 节点),涵盖文生视频、图生视频和首尾帧工作流。在图像方面,它驱动 Z-Image、Qwen 图像、Flux 2 和 Krea 2,支持多参考以在镜头间保持角色和地点的一致性。

工作流功能

  • 3D 分镜:在 3D 空间中放置虚拟相机,使用视场角(FOV)和罗盘指示器视觉上构图镜头,当违反 180 度规则时发出警告。
  • 连续性系统:参考图像在帧之间保持角色和地点的一致性。
  • 长镜头模式(实验性):跨多个片段链接关键帧插值,用于比单个片段更长的连续镜头,使用 ffmpeg 拼接。它需要支持首尾帧转视频的模型,例如 LTX Video 2.3 和 Wan Video。
  • 随处 LoRA 支持:在所有五个生成表面上上传和应用 LoRA,并带有每个模型的强度滑块。
  • 自定义工作流注册:在 ComfyUI 中构建工作流,导出 JSON,在设置面板中上传,它会作为新模型出现在每个下拉菜单中。应用解析 JSON,列出所有必填的 checkpoint、LoRA 和 VAE,并标记哪些已经存在于您的 ComfyUI 模型文件夹中。
  • 时间线导出:将镜头与对话和音频组装在一起,然后导出 XML 用于 Premiere 或 DaVinci。
AI Movie Studio 2 项目工作区

社区反响

r/comfyui 上的 9 月 7 日更新帖子吸引了独立用户报告实际使用情况:一人在 Linux 下的 Strix Halo 迷你 PC 上运行它,另一人有一个 PR 合并到项目中。Docker 路径(docker compose up --build)消除了早期版本最大的设置障碍。

最低硬件要求是 8 GB GPU 用于图像生成和短片;12-16 GB 覆盖所有本地图像模型以及 Wan 和 MiniMax H3 视频。GPU 不是强制性的,因为云驱动无需 GPU 即可工作。

可用性

AI Movie Studio 2 采用 AGPL-3.0 许可,运行于 Python 3.10+ 和 Node.js 18+。设置指南、Docker 单行命令和完整的模型兼容性表均在 GitHub README 中。该项目正在积极开发中,作者指出预期更新之间会有破坏性更改。

评论

使用 GitHub 登录后即可参与讨论。

评论加载中…
AI Movie Studio 2:面向 ComfyUI 的开源电影制作工作站 | ComfyUI Wiki