ATI:任意轨迹指令实现可控视频生成

ATI 由字节跳动研究团队开发,是基于轨迹的运动控制框架,适用于 Wan2.1。它通过任意轨迹指令,统一了物体、局部区域和相机运动的控制。

A

ATI

Wan2.1视频生成运动控制轨迹控制开源

字节跳动研究团队推出的任意轨迹指令(Any Trajectory Instruction)可控视频生成方案。基于 Wan2.1 构建,通过轨迹引导统一了物体、局部区域和相机的运动控制。

开发者字节跳动研究
架构基于 Wan2.1 的轨迹条件
模型大小14B (fp16/fp8/fp8_e5m2)
功能物体轨迹、区域运动、相机轨迹控制

概述

ATI(任意轨迹指令)是字节跳动研究团队推出的一款基于轨迹的运动控制框架,为 Wan2.1 视频生成带来了精确的运动控制能力。该框架在单一框架中统一了三种运动控制类型:物体级轨迹、局部区域运动以及相机运动。用户可以指定任意轨迹,模型在生成视频内容时遵循这些轨迹。

该框架支持 480P 分辨率的图生视频,并提供对物体和相机在整个生成序列中移动方式的精细控制。

ComfyUI 集成

ATI-Wan2.1 模型可通过 Kijai WanVideoWrapper 用于 ComfyUI。fp8 和 fp8_e5m2 量化版本降低了推理要求,可在消费级 GPU 上高效运行。

可用大小

大小精度分辨率
14Bfp16480P I2V
14Bfp8480P I2V
14Bfp8_e5m2480P I2V

资源

资源链接
GitHub 仓库github.com/bytedance/ATI
项目页面anytraj.github.io
Hugging Face(原始)bytedance-research/ATI
Hugging Face(Kijai)Kijai/WanVideo_comfy

Guides and workflows related to this model series.

No articles found.