Kunlun Wanwei открывает исходный код SkyReels-A2: коммерческая платформа генерации видео

6 апреля 2025 года Kunlun Wanwei официально открыл исходный код своей последней разработанной модели SkyReels-A2, первой в мире платформы генерации “Элементы-в-Видео” (E2V), направленной на коммерческие сценарии. Через инновационную двухветвевую архитектуру эта платформа может трансформировать множественные референсные изображения в связный и плавный видеоконтент, отмечая переход технологии генерации ИИ-видео от экспериментальной стадии к практическому применению.

Технические особенности: двухветвевая архитектура прорывает узкие места генерации видео

Ключевая инновация SkyReels-A2 заключается в ее уникальной системе кодирования признаков с двумя ветвями:

• Ветвь пространственных признаков: Использует утонченный VAE энкодер для обработки изображений, извлекая информацию о текстуре и деталях персонажей, объектов, фонов и других элементов, обеспечивая высокую согласованность между каждым элементом в сгенерированном видео и референсными изображениями.

• Ветвь семантических признаков: Использует CLIP визуальный энкодер и MLP проекционные слои для захвата высокоуровневых семантических ассоциаций между элементами, интегрируя их в диффузионную модель через механизмы кросс-внимания для обеспечения логической согласованности и динамической непрерывности сцен.

Этот дизайн успешно решает технические вызовы в контроле согласованности множественных элементов и семантической координации сложных сцен, с которыми сталкиваются традиционные модели генерации видео, делая сгенерированные видео более плавными и реалистичными, чем многие коммерческие модели с закрытым исходным кодом.

Широкие применения: комплексное расширение возможностей от электронной коммерции до кинопроизводства

SkyReels-A2 демонстрирует мощный потенциал применения в нескольких областях:

• Виртуальная электронная коммерция: Просто введите изображение ведущего и фотографии продуктов для генерации динамических рекламных видео, решая проблемы высокой стоимости и длительных производственных циклов традиционной рекламы.

• Кинопроизводство: Поддерживает комбинации множественных персонажей и фонов, способна генерировать интерактивные сцены кинематографического уровня, такие как групповые побеги в фильмах-катастрофах или взаимодействия персонажей в драмах, с композицией и эффектами освещения, достигающими профессиональных стандартов.

• Музыкальные мультимедиа: Может комбинировать фоновые элементы и ритмы для генерации сегментов музыкальных видео, предоставляя независимым музыкантам недорогие творческие инструменты.

Экосистема открытого исходного кода: продвижение доступности промышленных технологий

Этот релиз с открытым исходным кодом является важным шагом в стратегии Kunlun Wanwei в секторе ИИ-видео. Ранее выпущенные SkyReels-V1 (модель генерации коротких драм) и SkyReels-A1 (алгоритм контроля выражений и действий) уже накопили большую экосистему разработчиков. SkyReels-A2 дополнительно предоставляет:

• Эффективная платформа вывода: Один RTX 4090 GPU может генерировать видео 544p за 80 секунд, с поддержкой многокарточного параллельного обработки и оптимизации низкого VRAM.

• Структурированный конвейер обработки данных: Весь рабочий процесс от аннотации видео, сегментации элементов до триплетного сопоставления открыт, значительно снижая порог применения для предприятий.

Спецификации модели и технические параметры

SkyReels-A2 предлагает множественные версии модели для удовлетворения потребностей различных сценариев применения:

• A2-Wan2.1-14B-Preview (Выпущена): Поддерживает генерацию приблизительно 81 кадра при разрешении 480×832
• A2-Wan2.1-14B (Скоро): Базовая версия с параметрами видео, такими же как версия Preview
• A2-Wan2.1-14B-Infinity (Скоро): Поддерживает генерацию видео неограниченной длины с увеличенным разрешением 720×1080

Модель основана на архитектуре видео диффузионного трансформера, используя инновационную систему кодирования с двумя ветвями для достижения точного контроля над референсными изображениями, обеспечивая высокую согласованность объектов, персонажей и фоновых элементов в сгенерированных видео.

Недавние планы развития

Команда Kunlun Wanwei объявила недавние планы развития для SkyReels-A2:

• Запуск системы оценки A2-Bench и таблицы лидеров
• Выпуск полной последовательности моделей, включая версии, поддерживающие генерацию видео неограниченной длины
• Оптимизация производительности вывода для GPU RTX 4090
• Интеграция поддержки ComfyUI, делая легче для пользователей использовать модель через графический интерфейс

Промышленное влияние и будущие перспективы

Выпуск SkyReels-A2 заполняет пробел в коммерческих возможностях контроля моделей генерации видео с открытым исходным кодом и может изменить традиционные процессы производства видео. Промышленные эксперты верят, что эта технология ускорит популяризацию персонализированного производства контента и интерактивных медиа в реальном времени, таких как генерация видео электронной коммерции в прямом эфире путем комбинирования захвата движения в реальном времени, или динамическое построение виртуальных сред для сценариев метавселенной.

Команда Kunlun Wanwei заявляет, что они продолжат оптимизировать возможности модели в долгосрочной временной согласованности видео и взаимодействии физического движка, и исследовать глубокую интеграцию с инструментами 3D моделирования.

Связанные ссылки

• Репозиторий SkyReels-A2 GitHub
• Страница модели SkyReels-A2 Hugging Face
• Домашняя страница проекта SkyReels-A2
• Набор данных оценки A2-Bench
• Официальный демо-сайт SkyReels
• Discord сообщество SkyReels