SkyReels-V2: Бесконечная генерация видео от Skywork
SkyReels-V2 : первая открытая модель генерации видео бесконечной длины с использованием Diffusion Forcing. Основана на Wan2.1, поддерживает T2V, I2V и авторегрессионную генерацию видео.
SkyReels-V2
ВидеоТекст-в-видеоИзображение-в-видеоDiffusion ForcingБесконечная длинаОткрытый исходный кодSkyReels-V2 : это модель генерации видео бесконечной длины от Kunlun Tech (Skywork), использующая авторегрессионную архитектуру Diffusion-Forcing для достижения передовых результатов среди открытых видеомоделей. Построена на базе Wan2.1, поддерживает генерацию текста-в-видео (T2V), изображения-в-видео (I2V) и бесконечную длину с помощью режимов синхронного и асинхронного вывода Diffusion Forcing (DF). Доступна в размерах 14B и 1.3B с разрешением 540P и 720P. Также доступны адаптеры LoRA для тонкой настройки. Поддержка в ComfyUI осуществляется через WanVideoWrapper от Kijai.
| Разработчик | Kunlun Tech (Skywork AI) |
| Дата выпуска | 2025-04-21 |
| Архитектура | Авторегрессионный трансформер с Diffusion-Forcing |
| Базовая модель | Wan2.1 (Wan-AI) |
| Лицензия | SkyReels-V2 Community License |
| Размеры модели | 14B (полная) / 1.3B (облегчённая) |
| Возможности | Текст-в-видео (14B), Изображение-в-видео (14B), Diffusion Forcing (14B/1.3B): бесконечная длина авторегрессии |
| Выходные разрешения | 540P (960×544) / 720P (1280×720) |
| Макс. кадров | 97~1457 кадров (4с–60с+ при 24fps) |
| VRAM (540P) | ~51.2 ГБ (14B) / ~14.7 ГБ (1.3B) |
Обзор
SkyReels-V2 : это первая открытая модель генерации видео, использующая авторегрессионную архитектуру Diffusion-Forcing, достигшая передовых результатов среди общедоступных моделей. Она объединяет мультимодальные большие языковые модели (MLLM), многоэтапное предобучение, обучение с подкреплением и фреймворк Diffusion Forcing для генерации видео бесконечной длины.
Варианты моделей
Доступны три типа моделей, каждый с несколькими разрешениями и вариантами точности:
| Тип | Описание | Доступные размеры | Точность |
|---|---|---|---|
| Diffusion Forcing (DF) | Авторегрессионная генерация видео бесконечной длины; поддерживает задачи T2V и I2V в синхронном или асинхронном режимах | 14B (540P/720P), 1.3B (540P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| Текст-в-видео (T2V) | Стандартная генерация видео из текста | 14B (540P/720P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| Изображение-в-видео (I2V) | Генерация видео на основе изображения | 14B (540P/720P) | fp16, fp8_e4m3fn, fp8_e5m2 |
| SkyReels A2 | Управляемая генерация видео для сборки произвольных визуальных элементов; лицензия Apache-2.0 | 14B (fp8) | fp8_e4m3fn |
Ключевые особенности
- Генерация бесконечной длины: Использует Diffusion Forcing с авторегрессионным предсказанием кадров для создания видео произвольной длины, выходящей за рамки одного клипа.
- Синхронный и асинхронный вывод: Синхронный : для более быстрой генерации, асинхронный : для лучшего следования инструкциям и визуальной согласованности.
- Расширение видео: Расширяйте существующие видео с помощью модели DF, передав путь к видео.
- Управление начальным/конечным кадром: Управляйте как первым, так и последним кадром генерируемого видео.
- Улучшение промптов: Встроенный улучшатель промптов на базе Qwen2.5-32B-Instruct.
- Ускорение TeaCache: Опциональное кэширование для более быстрого вывода.
- Поддержка выгрузки на CPU: Выгрузка на CPU снижает пиковые требования к VRAM.
Настройка в ComfyUI
Эти модели упакованы Kijai для использования с пользовательским узлом WanVideoWrapper. Разместите модели диффузии в ComfyUI/models/diffusion_models/, а LoRA : в ComfyUI/models/loras/.