Skip to content
帮助构建更好的 ComfyUI 知识库 成为赞助者
新闻阿里通义实验室发布VACE:一体化视频创建与编辑模型

阿里通义实验室发布VACE:一体化视频创建与编辑模型

通义实验室于3月11日发布了全新的视频创建与编辑模型VACE(Video Creation and Editing),这是一款集成多种视频处理功能于一体的AI工具,旨在通过统一框架简化视频创作流程。

主要功能特点

VACE模型的核心优势在于其”一站式”处理能力,将传统需要多种工具协作完成的复杂任务整合到单一框架中。具体功能包括:

多任务统一框架

  • 文本转视频(T2V):通过文字描述直接生成对应的视频内容
  • 参考转视频(R2V):基于图像或视频样本生成包含特定主体的视频
  • 视频编辑(V2V):实现视频风格转换、动态元素添加等全局性调整
  • 掩码视频编辑(MV2V):利用时空掩码对视频特定区域进行修改

灵活的创作组合能力

VACE最大的特色在于其支持”万能编辑”,用户可以灵活组合不同功能:

  • 移动任何物体:调整视频中物体的运动轨迹
  • 替换任何对象:将视频中的人物或物体替换为指定参考
  • 扩展任何画面:拓展视频边界或填充内容
  • 动画任何静物:赋予静态图像自然运动效果

技术亮点

VACE模型采用了多项创新技术:

  • 视频条件单元:统一处理文本、图像、视频、掩码等多模态输入
  • 概念解耦策略:自动分离视频中的元素(如人物、背景、动作),支持独立修改
  • 上下文适配器结构:基于扩散变换器架构,动态调整生成策略适应不同任务

实际应用场景

该模型可广泛应用于:

  • 社交媒体短视频快速制作
  • 广告与营销内容创作
  • 影视后期制作与特效处理
  • 教育培训视频生成

开发团队

VACE由通义实验室的研究团队开发,核心成员包括:Zeyinzi Jiang、Zhen Han、Chaojie Mao、Jingfeng Zhang、Yulin Pan和Yu Liu。

未来发展

开发团队表示,VACE未来将继续优化:

  • 提升视频生成质量和连贯性
  • 扩展实时编辑能力
  • 增强3D生成功能
  • 探索语音指令交互

VACE的推出代表了AI视频创作工具向着易用化、集成化方向发展的重要一步,有望大幅降低视频创作门槛,为内容创作者提供更加便捷的工具。

相关链接