Kunlun Wanwei выпускает SkyReels-V2 - модель генерации фильмов бесконечной длины

21 апреля команда SkyReels Kunlun Wanwei официально выпустила и открыла исходный код SkyReels-V2 — первой в мире модели генерации фильмов бесконечной длины, использующей фреймворк Diffusion Forcing. Комбинируя мультимодальные крупные языковые модели (MLLM), многоэтапное предобучение, обучение с подкреплением и фреймворк Diffusion Forcing, эта модель достигает совместной оптимизации и может генерировать высококачественные видео длиной 30 секунд, 40 секунд или даже дольше.

🎥 Демонстрации

Демонстрации выше показывают 30-секундные видео, сгенерированные с использованием модели SkyReels-V2 Diffusion Forcing.

Технические инновации

SkyReels-V2 достигает высококачественной генерации видео через несколько технических инноваций:

1. Кинематографическая модель понимания видео: SkyCaptioner-V1

Команда разработала структурированный метод представления видео, который комбинирует общие описания от мультимодальных LLM с детальным языком кадров от суб-экспертных моделей. Этот метод идентифицирует типы объектов, внешности, выражения, действия и позиции в видео.

SkyCaptioner-V1 эффективно понимает данные видео и генерирует разнообразные описания, согласованные с оригинальной структурной информацией. Он не только понимает общий видеоконтент, но также захватывает профессиональный кинематографический язык в кинематографических сценах, значительно улучшая следование промптам в сгенерированных видео. Эта модель теперь открыта с исходным кодом и доступна для прямого использования.

2. Оптимизация предпочтений движения

Через обучение с подкреплением, используя человеческую аннотацию и синтетические данные искажения, команда решала проблемы динамического искажения и нереалистичного движения в существующих моделях генерации видео. Они разработали полуавтоматический пайплайн сбора данных для эффективной генерации пар данных сравнения предпочтений.

Этот подход позволяет SkyReels-V2 превосходить в динамике движения, генерируя плавный и реалистичный видеоконтент, который соответствует требованиям к высококачественному движению.

3. Эффективный фреймворк Diffusion Forcing

Для достижения возможностей генерации длинных видео команда предложила метод пост-обучения Diffusion Forcing. Тонко настраивая предобученные диффузионные модели и конвертируя их в модели Diffusion Forcing, они не только сократили затраты на обучение, но также значительно улучшили эффективность генерации.

Команда приняла неубывающий график шумового времени, сокращая пространство поиска для графиков деноизинга непрерывных кадров с O(1e48) до O(1e32), обеспечивая эффективную генерацию длинных видео.

4. Прогрессивное предобучение разрешения и многоэтапная оптимизация пост-обучения

Для разработки профессиональной модели генерации фильмов многоэтапная система обеспечения качества команды интегрировала данные из трех основных источников: общих наборов данных, самостоятельно собранных медиа и библиотек художественных ресурсов.

Основываясь на этой основе данных, команда сначала установила базовую модель генерации видео через прогрессивное предобучение разрешения, за которым последовали четыре этапа последующих улучшений обучения: начальная сбалансированная по концепции контролируемая тонкая настройка, специфичное для движения обучение с подкреплением, фреймворк Diffusion Forcing и высококачественная SFT.

Производительность

SkyReels-V2 демонстрирует отличную производительность в множественных оценках:

1. В многомерной человеческой оценке SkyReels-Bench T2V SkyReels-V2 достиг высочайших стандартов в следовании инструкциям (3.15) и согласованности (3.35), одновременно поддерживая производительность первого уровня в качестве видео (3.34) и качестве движения (2.74).

2. В автоматизированной оценке VBench1.0 SkyReels-V2 превзошел все модели сравнения с наивысшим общим счетом (83.9%) и счетом качества (84.7%), включая HunyuanVideo-13B и Wan2.1-14B.

Сценарии применения

SkyReels-V2 предоставляет мощную поддержку для множественных практических сценариев применения:

1. Генерация историй: Способна генерировать теоретически бесконечной длины видео, используя метод скользящего окна и техники стабилизации для создания длинных кадров с согласованными повествованиями.

2. Синтез изображение-в-видео: Предлагает два метода для генерации видео из изображений, превосходя другие модели с открытым исходным кодом по всем измерениям качества и сопоставимые с моделями с закрытым исходным кодом.

3. Функциональность режиссера камеры: Через специально отобранные образцы и эксперименты тонкой настройки значительно улучшает фотографические эффекты, особенно в плавности и разнообразии движения камеры.

4. Генерация элемент-в-видео: Основываясь на базовой модели SkyReels-V2, решение SkyReels-A2 может комбинировать произвольные визуальные элементы в согласованные видео, направляемые текстовыми промптами.

Модели с открытым исходным кодом

Команда SkyReels Kunlun Wanwei полностью открыла исходный код SkyCaptioner-V1 и серии моделей SkyReels-V2 (включая Diffusion Forcing, текст-в-видео, изображение-в-видео, режиссер камеры и элемент-в-видео модели) различных размеров (1.3B, 5B, 14B) для продвижения дальнейших исследований и применений в академии и промышленности.

Связанные ссылки

• Технический отчет
• Hugging Face
• ModelScope
• GitHub репозиторий