Skip to content
帮助构建更好的 ComfyUI 知识库 成为赞助者
新闻昆仑万维开源SkyReels-A2：商用级视频生成框架

字节跳动推出Seaweed-7B：高性价比的视频生成基础模型

2025/04/14

昆仑万维开源SkyReels-A2：商用级视频生成框架

2025年4月6日，昆仑万维正式开源其最新研发的SkyReels-A2模型，这是全球首个面向商用场景的”元素到视频”（Elements-to-Video, E2V）生成框架。该框架通过创新的双分支架构，能够将多个参考图像转化为连贯流畅的视频内容，标志着AI视频生成技术从实验阶段迈入实用化应用阶段。

SkyReels-A2演示

技术亮点：双分支架构突破视频生成瓶颈

SkyReels-A2的核心创新在于其独特的双分支特征编码系统：

  • 空间特征分支：采用精细化的VAE编码器处理图像，提取角色、物体、背景等元素的纹理和细节信息，确保生成的视频中每个元素与参考图像保持高度一致性。

  • 语义特征分支：利用CLIP视觉编码器和MLP投影层，捕捉元素之间的高层语义关联，通过交叉注意力机制融入扩散模型，保障场景逻辑与动态的连贯性。

这一设计成功解决了传统视频生成模型在多元素一致性控制和复杂场景语义协调上的技术难题，使生成视频的流畅度与真实感超越了多个闭源商业模型。

广泛应用：从电商到影视的全方位赋能

SkyReels-A2在多个领域展现出强大应用潜力：

  • 虚拟电商：只需输入主播形象与商品图片，即可生成动态推荐视频，解决传统广告制作成本高、周期长的问题。

  • 影视创作：支持多人角色与背景组合，可生成电影级互动场景，如灾难片中的群体逃生、剧情片中的人物互动等，画面构图与光影效果达到专业水准。

  • 音乐多媒体：能够结合背景元素与节奏生成音乐视频片段，为独立音乐人提供低成本创作工具。

开源生态：推动行业技术普惠

此次开源是昆仑万维在AI视频领域布局的重要一步。此前发布的SkyReels-V1（短剧生成模型）和SkyReels-A1（表情动作控制算法）已积累了大量开发者生态。SkyReels-A2进一步提供：

  • 高效推理框架：单张RTX 4090显卡可在80秒内生成544p视频，同时支持多卡并行与低显存优化。

  • 结构化数据处理流程：从视频标注、元素分割到三元组匹配的全流程开源，大幅降低企业应用门槛。

模型规格与技术参数

SkyReels-A2提供多个版本的模型以满足不同应用场景的需求：

  • A2-Wan2.1-14B-Preview（已发布）：支持生成约81帧、分辨率为480×832的视频
  • A2-Wan2.1-14B（即将发布）：基础版本，视频参数同Preview版
  • A2-Wan2.1-14B-Infinity（即将发布）：支持生成无限长度、分辨率提升至720×1080的高质量视频

该模型基于视频扩散变换器架构，利用创新的双分支编码系统实现对参考图像的精准控制，确保生成视频中的物体、人物与背景元素保持高度一致性。

近期开发计划

昆仑万维团队已公布SkyReels-A2的近期开发计划：

  • 推出A2-Bench评估体系和排行榜
  • 发布完整的模型序列，包括支持无限长度视频生成的版本
  • 针对RTX 4090显卡优化推理性能
  • 集成ComfyUI支持，方便用户通过图形界面使用模型

行业影响与未来展望

SkyReels-A2的推出填补了开源视频生成模型在商用级控制能力的空白，有望改变传统视频制作流程。业内专家认为，该技术将加速个性化内容生产和实时交互式媒体的普及，如结合实时动作捕捉技术生成直播带货视频，或为元宇宙场景动态构建虚拟环境。

昆仑万维团队表示，未来将持续优化模型在长视频时序一致性和物理引擎交互方面的能力，并探索与3D建模工具的深度整合。

相关链接