ATI:任意轨迹指令实现可控视频生成
ATI 由字节跳动研究团队开发,是基于轨迹的运动控制框架,适用于 Wan2.1。它通过任意轨迹指令,统一了物体、局部区域和相机运动的控制。
A
ATI
Wan2.1视频生成运动控制轨迹控制开源字节跳动研究团队推出的任意轨迹指令(Any Trajectory Instruction)可控视频生成方案。基于 Wan2.1 构建,通过轨迹引导统一了物体、局部区域和相机的运动控制。
| 开发者 | 字节跳动研究 |
| 架构 | 基于 Wan2.1 的轨迹条件 |
| 模型大小 | 14B (fp16/fp8/fp8_e5m2) |
| 功能 | 物体轨迹、区域运动、相机轨迹控制 |
概述
ATI(任意轨迹指令)是字节跳动研究团队推出的一款基于轨迹的运动控制框架,为 Wan2.1 视频生成带来了精确的运动控制能力。该框架在单一框架中统一了三种运动控制类型:物体级轨迹、局部区域运动以及相机运动。用户可以指定任意轨迹,模型在生成视频内容时遵循这些轨迹。
该框架支持 480P 分辨率的图生视频,并提供对物体和相机在整个生成序列中移动方式的精细控制。
ComfyUI 集成
ATI-Wan2.1 模型可通过 Kijai WanVideoWrapper 用于 ComfyUI。fp8 和 fp8_e5m2 量化版本降低了推理要求,可在消费级 GPU 上高效运行。
可用大小
| 大小 | 精度 | 分辨率 |
|---|---|---|
| 14B | fp16 | 480P I2V |
| 14B | fp8 | 480P I2V |
| 14B | fp8_e5m2 | 480P I2V |
资源
| 资源 | 链接 |
|---|---|
| GitHub 仓库 | github.com/bytedance/ATI |
| 项目页面 | anytraj.github.io |
| Hugging Face(原始) | bytedance-research/ATI |
| Hugging Face(Kijai) | Kijai/WanVideo_comfy |
Guides and workflows related to this model series.
No articles found.