Skip to content
ComfyUI Wiki
Помогите создать лучшую базу знаний ComfyUI Стать спонсором
НовостиЛаборатория Ali Tongyi выпускает VACE: универсальная модель для создания и редактирования видео

Лаборатория Ali Tongyi выпускает VACE: универсальная модель для создания и редактирования видео

11 марта лаборатория Tongyi представила свою новую модель создания и редактирования видео VACE (Video Creation and Editing) — ИИ-инструмент, который объединяет несколько функций обработки видео в одной платформе, с целью упростить создание видео с помощью единой системы.

Основные возможности

Ключевое преимущество модели VACE — это “единая точка входа” для сложных задач, которые традиционно требуют использования нескольких инструментов. Конкретные функции включают:

Унифицированная многозадачная платформа

  • Текст-в-видео (T2V): Генерация соответствующего видеоконтента напрямую по текстовому описанию
  • Референс-в-видео (R2V): Генерация видео с заданными объектами на основе изображений или видео-примеров
  • Видео-в-видео (V2V): Реализация конвертации стиля видео, добавления динамических элементов и других глобальных изменений
  • Маскированное видео-в-видео (MV2V): Модификация отдельных областей видео с помощью пространственно-временных масок

Гибкие возможности комбинированного творчества

Самая отличительная особенность VACE — поддержка “универсального редактирования”, позволяющая пользователям гибко комбинировать различные функции:

  • Move Anything: Изменение траектории движения объектов в видео
  • Swap Anything: Замена персонажей или объектов в видео на заданные референсы
  • Expand Anything: Расширение границ видео или заполнение контента
  • Animate Anything: Придание статическим изображениям естественных движений

Технические особенности

Модель VACE использует ряд инновационных технологий:

  • Video Condition Unit: Унифицированная обработка мультимодальных входов, таких как текст, изображения, видео и маски
  • Стратегия разделения концепций: Автоматическое разделение элементов в видео (например, персонажи, фон, действия), поддержка независимого редактирования
  • Структура адаптера контекста: Основана на архитектуре Diffusion Transformer, динамически настраивает стратегию генерации под разные задачи

Практические сценарии применения

Эта модель может широко применяться для:

  • Быстрого производства коротких видео для соцсетей
  • Создания рекламного и маркетингового контента
  • Постпродакшна фильмов и обработки спецэффектов
  • Генерации обучающих видео

Команда разработчиков

VACE разработана исследовательской командой лаборатории Tongyi, в которую входят: Zeyinzi Jiang, Zhen Han, Chaojie Mao, Jingfeng Zhang, Yulin Pan и Yu Liu.

Дальнейшее развитие

Команда разработчиков заявляет, что VACE будет и дальше оптимизироваться:

  • Улучшение качества и согласованности генерации видео
  • Расширение возможностей редактирования в реальном времени
  • Усиление функций 3D-генерации
  • Исследование голосового управления

Запуск VACE — важный шаг в развитии инструментов ИИ для создания видео в сторону удобства и интеграции, что должно значительно снизить порог для видеотворчества и предоставить авторам более удобные инструменты.

Связанные ссылки