Модель генерации видео Wan2.1 от Alibaba официально открыта

news

Alibaba официально открыла исходный код своей последней модели генерации видео Wan2.1, которая может работать всего с 8GB видеопамяти, поддерживая генерацию видео высокой четкости, динамические субтитры и многоязычное дублирование, превосходя модели как Sora с общим баллом 86.22% в таблице лидеров VBench

25 февраля 2025 года Alibaba объявила, что ее последняя модель генерации видео Wan2.1 была официально открыта, что знаменует значительную веху. Эта модель не только превосходит существующие модели с открытым исходным кодом с точки зрения производительности, но и значительно снижает барьер входа с ее легковесной версией, требующей всего 8GB видеопамяти.

Ключевые особенности

Wan2.1 достигла значительных технологических прорывов в нескольких областях:

1. Исключительная производительность и низкие требования к ресурсам

  • Заняла первое место в таблице лидеров VBench с общим баллом 86.22%, превзойдя модели как Sora (84.28%) и Luma (83.61%)
  • Легковесная версия T2V-1.3B требует всего 8.19GB видеопамяти, делая возможным запуск на потребительских видеокартах
  • Поддерживает генерацию видео разрешения 8K с деталями, достигающими кинематографических стандартов

2. Комплексная поддержка функциональности

  • Поддерживает множественные задачи, такие как текст-в-видео (T2V), изображение-в-видео (I2V) и редактирование видео
  • Первая вводит двуязычную (китайский и английский) генерацию текстовых эффектов, поддерживая динамические субтитры и художественные шрифты
  • Добавляет функциональность видео-в-аудио (V2A), достигая синхронизированной генерации аудио и видео

3. Инновационная техническая архитектура

  • Обучена с использованием линейной траектории шума Flow Matching парадигмы
  • Энкодер Wan-VAE может обрабатывать видео любой длины при разрешении 1080P
  • Модуль 3D причинной свертки улучшает возможности физического моделирования

Выбор версии и требования к оборудованию

Wan2.1 предлагает две версии для удовлетворения различных сценариев:

  1. Скоростная версия (1.3B)

    • Требует всего 8.19GB видеопамяти
    • Подходит для индивидуальных разработчиков
    • Время генерации 5-секундного видео 480P составляет приблизительно 4 минуты

  2. Профессиональная версия (14B)

    • Поддерживает профессиональный рендеринг 720P
    • Подходит для применений в кино- и телеиндустрии
    • Предлагает более богатый набор интерфейсов спецэффектов

Получение ресурсов с открытым исходным кодом

Все модели теперь доступны для загрузки на платформах Hugging Face и ModelScope:

Сценарии применения

Область применения Wan2.1 широка, в основном включая:

Личное творчество

  • Генерация контента коротких видео
  • Помощь в художественном творчестве
  • Анимация изображений

Профессиональное производство

  • Производство спецэффектов для кино и телевидения
  • Креативный дизайн рекламы
  • Производство образовательных ресурсов

Промышленные применения

  • Анимация демонстрации продуктов
  • Архитектурная визуализация
  • Визуализация промышленных процессов

Будущие перспективы

Открытие исходного кода Wan2.1 принесет новые возможности в создание ИИ-видео. Особенно с ее низкими требованиями к оборудованию, больше индивидуальных разработчиков и небольших команд могут участвовать в практиках генерации ИИ-видео. Это не только продвинет распространение технологии, но и продвинет инновации во всей отрасли.

Связанные ссылки

Модель генерации видео Wan2.1 от Alibaba официально открыта | ComfyUI Wiki