Модель генерации видео WanX 2.1 от Alibaba будет открыта
Alibaba объявила 21 февраля 2025 года, что ее последняя модель генерации видео WanX 2.1 будет полностью открыта во втором квартале, включая модель, наборы данных обучения и легковесные инструментарии. Эта новость вызвала широкое внимание в сообществе ИИ.
Технические инновации и прорывы
WanX 2.1 достигла значительных технических прорывов в нескольких областях:
Мультимодальное слияние и эффективная генерация
- Поддерживает одновременную генерацию видео высокой четкости 1080p, динамических субтитров и многоязычного дублирования
- Использует архитектуры VAE (Variational Autoencoder) и DiT (Denoising Diffusion Transformer)
- Эффективность генерации увеличилась до всего 15 секунд на минуту видео, ускорение в 4 раза по сравнению с предыдущим поколением
- Точное моделирование физических законов, включая движение человеческого тела и эффекты жидкости
Художественный стиль и система спецэффектов
- Включает более 100 художественных стилевых шаблонов, включая стили масляной живописи и киберпанк
- Пионер в возможностях генерации английских и китайских текстовых спецэффектов, поддерживая динамические субтитры и генерацию постерных шрифтов
- Обеспечивает точное соответствие между текстовыми инструкциями и генерацией видео через сверхдлинное контекстное обучение
Оценка производительности
В авторитетной таблице лидеров оценки VBench WanX 2.1 занимает первое место с общим баллом 84.7%, превосходя в следующих измерениях:
- Динамическая производительность
- Обработка пространственных отношений
- Возможности взаимодействия множественных объектов
Сценарии применения
Область применения WanX 2.1 широка, в основном включая:
Коммерческое творчество
- Пакетная генерация контента коротких видео
- Персонализированные анимации продвижения продуктов
Образование и культура
- Производство иммерсивных образовательных видео
- Восстановление и реконструкция исторических изображений
Кино и реклама
- Кинематографический эффект камеры
- Профессиональная генерация шрифтов спецэффектов
- Креативный дизайн рекламы
Использование и получение
В настоящее время индивидуальные пользователи могут бесплатно испытать онлайн-сервис через Официальный веб-сайт WanX. Корпоративные пользователи могут получить доступ к API через платформу Alibaba Cloud Model Studio.
Стоит отметить, что хотя модель еще не открыта, Alibaba пообещала открыть исходный код модели, наборы данных обучения и связанные инструментарии во втором квартале 2025 года, что принесет новые возможности развития в области генерации ИИ-видео.
Будущие перспективы
Открытие исходного кода WanX 2.1 принесет значительный импульс экосистеме создания ИИ-видео. Особенно в таких областях, как производство образовательных ресурсов и сохранение культурного наследия, ее перспективы применения обширны. Однако пользователи также определили некоторые области для улучшения, такие как случайные небольшие ошибки в генерации китайского текста, которые ожидается оптимизировать в будущих версиях.