昆仑万维发布SkyReels-V2无限时长电影生成模型
2025/04/21
阿里通义实验室发布VACE：一体化视频创建与编辑模型
通义实验室于3月11日发布了全新的视频创建与编辑模型VACE（Video Creation and Editing），这是一款集成多种视频处理功能于一体的AI工具，旨在通过统一框架简化视频创作流程。
主要功能特点
VACE模型的核心优势在于其”一站式”处理能力，将传统需要多种工具协作完成的复杂任务整合到单一框架中。具体功能包括：
多任务统一框架
- 文本转视频（T2V）：通过文字描述直接生成对应的视频内容
- 参考转视频（R2V）：基于图像或视频样本生成包含特定主体的视频
- 视频编辑（V2V）：实现视频风格转换、动态元素添加等全局性调整
- 掩码视频编辑（MV2V）：利用时空掩码对视频特定区域进行修改
灵活的创作组合能力
VACE最大的特色在于其支持”万能编辑”，用户可以灵活组合不同功能：
- 移动任何物体：调整视频中物体的运动轨迹
- 替换任何对象：将视频中的人物或物体替换为指定参考
- 扩展任何画面：拓展视频边界或填充内容
- 动画任何静物：赋予静态图像自然运动效果
技术亮点
VACE模型采用了多项创新技术：
- 视频条件单元：统一处理文本、图像、视频、掩码等多模态输入
- 概念解耦策略：自动分离视频中的元素（如人物、背景、动作），支持独立修改
- 上下文适配器结构：基于扩散变换器架构，动态调整生成策略适应不同任务
实际应用场景
该模型可广泛应用于：
- 社交媒体短视频快速制作
- 广告与营销内容创作
- 影视后期制作与特效处理
- 教育培训视频生成
开发团队
VACE由通义实验室的研究团队开发，核心成员包括：Zeyinzi Jiang、Zhen Han、Chaojie Mao、Jingfeng Zhang、Yulin Pan和Yu Liu。
未来发展
开发团队表示，VACE未来将继续优化：
- 提升视频生成质量和连贯性
- 扩展实时编辑能力
- 增强3D生成功能
- 探索语音指令交互
VACE的推出代表了AI视频创作工具向着易用化、集成化方向发展的重要一步，有望大幅降低视频创作门槛，为内容创作者提供更加便捷的工具。