ATI: Any Trajectory Instruction для управляемой генерации видео
ATI от ByteDance Research: фреймворк управления движением на основе траекторий для Wan2.1. Объединяет управление объектами, локальными областями и камерой с помощью произвольных траекторных инструкций.
ATI
Wan2.1Генерация видеоУправление движениемУправление траекториямиОткрытый исходный кодAny Trajectory Instruction для управляемой генерации видео от ByteDance Research. Построен на Wan2.1, объединяет управление движением объектов, локальных областей и камеры с помощью траекторной направляющей.
| Разработчик | ByteDance Research |
| Архитектура | На основе Wan2.1 с траекторным кондиционированием |
| Размеры модели | 14B (fp16/fp8/fp8_e5m2) |
| Возможности | Траектория объектов, движение областей, управление траекторией камеры |
Обзор
ATI (Any Trajectory Instruction) — это фреймворк управления движением на основе траекторий от ByteDance Research, который добавляет точное управление движением в генерацию видео Wan2.1. Он объединяет три типа управления движением в одной системе: траекторию объектов, движение локальных областей и движение камеры. Пользователи могут задавать произвольные траектории, которым следует модель при генерации видеоконтента.
Фреймворк поддерживает генерацию видео из изображения в разрешении 480P и обеспечивает детальный контроль над тем, как объекты и камера движутся в создаваемой последовательности.
Интеграция с ComfyUI
Модели ATI-Wan2.1 доступны для ComfyUI через обёртку Kijai WanVideoWrapper. Квантованные варианты fp8 и fp8_e5m2 позволяют выполнять эффективный вывод на потребительских GPU.
Доступные размеры
| Размер | Точность | Разрешение |
|---|---|---|
| 14B | fp16 | 480P I2V |
| 14B | fp8 | 480P I2V |
| 14B | fp8_e5m2 | 480P I2V |
Ресурсы
| Ресурс | Ссылка |
|---|---|
| Репозиторий GitHub | github.com/bytedance/ATI |
| Страница проекта | anytraj.github.io |
| Hugging Face (оригинал) | bytedance-research/ATI |
| Hugging Face (Kijai) | Kijai/WanVideo_comfy |
Guides and workflows related to this model series.