Модель генерации видео Wan2.1 от Alibaba официально открыта

25 февраля 2025 года Alibaba объявила, что ее последняя модель генерации видео Wan2.1 была официально открыта, что знаменует значительную веху. Эта модель не только превосходит существующие модели с открытым исходным кодом с точки зрения производительности, но и значительно снижает барьер входа с ее легковесной версией, требующей всего 8GB видеопамяти.

Ключевые особенности

Wan2.1 достигла значительных технологических прорывов в нескольких областях:

1. Исключительная производительность и низкие требования к ресурсам

• Заняла первое место в таблице лидеров VBench с общим баллом 86.22%, превзойдя модели как Sora (84.28%) и Luma (83.61%)
• Легковесная версия T2V-1.3B требует всего 8.19GB видеопамяти, делая возможным запуск на потребительских видеокартах
• Поддерживает генерацию видео разрешения 8K с деталями, достигающими кинематографических стандартов

2. Комплексная поддержка функциональности

• Поддерживает множественные задачи, такие как текст-в-видео (T2V), изображение-в-видео (I2V) и редактирование видео
• Первая вводит двуязычную (китайский и английский) генерацию текстовых эффектов, поддерживая динамические субтитры и художественные шрифты
• Добавляет функциональность видео-в-аудио (V2A), достигая синхронизированной генерации аудио и видео

3. Инновационная техническая архитектура

• Обучена с использованием линейной траектории шума Flow Matching парадигмы
• Энкодер Wan-VAE может обрабатывать видео любой длины при разрешении 1080P
• Модуль 3D причинной свертки улучшает возможности физического моделирования

Выбор версии и требования к оборудованию

Wan2.1 предлагает две версии для удовлетворения различных сценариев:

1. Скоростная версия (1.3B)

   • Требует всего 8.19GB видеопамяти
   • Подходит для индивидуальных разработчиков
   • Время генерации 5-секундного видео 480P составляет приблизительно 4 минуты

2. Профессиональная версия (14B)

   • Поддерживает профессиональный рендеринг 720P
   • Подходит для применений в кино- и телеиндустрии
   • Предлагает более богатый набор интерфейсов спецэффектов

Получение ресурсов с открытым исходным кодом

Все модели теперь доступны для загрузки на платформах Hugging Face и ModelScope:

• T2V-14B: Hugging Face | ModelScope
• I2V-14B-720P: Hugging Face | ModelScope
• T2V-1.3B: Hugging Face | ModelScope

Сценарии применения

Область применения Wan2.1 широка, в основном включая:

Личное творчество

• Генерация контента коротких видео
• Помощь в художественном творчестве
• Анимация изображений

Профессиональное производство

• Производство спецэффектов для кино и телевидения
• Креативный дизайн рекламы
• Производство образовательных ресурсов

Промышленные применения

• Анимация демонстрации продуктов
• Архитектурная визуализация
• Визуализация промышленных процессов

Будущие перспективы

Открытие исходного кода Wan2.1 принесет новые возможности в создание ИИ-видео. Особенно с ее низкими требованиями к оборудованию, больше индивидуальных разработчиков и небольших команд могут участвовать в практиках генерации ИИ-видео. Это не только продвинет распространение технологии, но и продвинет инновации во всей отрасли.

Связанные ссылки

• Репозиторий кода GitHub
• Онлайн демонстрационная платформа
• Техническая документация
• Сообщество разработчиков