Skywork открывает исходный код SkyReels-V1: модель генерации видео для создания ИИ-короткометражек

Skywork официально открыл исходный код своей последней модели генерации видео SkyReels-V1. Эта модель основана на дообучении модели Hunyuan video и достигла нескольких прорывов в области генерации видео после обучения на миллионах высококачественных кинематографических данных.

Ключевые особенности

Профессиональные визуальные эффекты

• Кинематографическое освещение: Достижение профессиональных эффектов освещения через изучение высококачественных кинематографических работ
• Тонкие выражения: Поддержка 33 различных типов выражений, способность достигать более 400 естественных комбинаций движений
• Консистентность сцен: Отличная консистентность в представлении людей и сцен

Технические инновации

1. Собственная инфраструктура вывода

   • Разработка инфраструктуры вывода SkyReels-Infer
   • Значительное улучшение эффективности вывода
   • Оптимизация использования ресурсов

2. Поддержка двойной модальности

   • Поддержка генерации из текста в видео (T2V)
   • Поддержка генерации из изображения в видео (I2V)
   • Гибкая адаптация к различным творческим потребностям

Требования к оборудованию и развертывание

Базовые требования к конфигурации

• Рекомендуемая видеопамять: 16 ГБ и выше
• Размер модели: приблизительно 24 ГБ
• Поддержка параллельного вывода на нескольких GPU

Сравнение производительности

Производительность на RTX 4090:

• Один GPU: генерация 4-секундного видео занимает приблизительно 889 секунд
• 4 GPU параллельно: сокращение времени генерации до 293 секунд
• 8 GPU параллельно: дальнейшая оптимизация до 159 секунд

Практические эффекты применения

Эффекты генерации из изображения в видео

• Консистентность персонажей: Способность хорошо сохранять характеристики персонажей исходного изображения
• Непрерывность движения: Сгенерированные движения естественны и плавны, с плавными переходами
• Адаптивность сцен: Применимо к различным сценариям, включая реалистичные и двумерные стили

Сценарии применения

1. Создание коротких видео

   • Производство ИИ-короткометражек
   • Генерация творческого видеоконтента
   • Создание маркетинговых материалов

2. Улучшение контента

   • Оживление статических изображений
   • Расширение видеоконтента
   • Добавление специальных эффектов

Доступ для разработчиков

Поддержка плагина ComfyUI

• Название плагина: ComfyUI-HunyuanVideoWrapper
• Предоставление полных шаблонов рабочих процессов
• Скачать примеры рабочих процессов

Получение модели

• Скачать модель с Hugging Face

Рекомендации по использованию

1. Выбор разрешения

   • Рекомендуемое по умолчанию: использование разрешения 512
   • Настраивается в зависимости от условий видеопамяти
   • Поддержка масштабирования видео в постобработке

2. Оптимизация промптов

   • Рекомендация детальных промптов
   • Качество промптов напрямую влияет на эффекты генерации
   • Поддержка гибкой настройки стилей

Открытый исходный код и коммерческое использование

• Модель открыта на GitHub
• Поддержка коммерческого использования
• Предоставление подробной документации по развертыванию и примеров

Перспективы на будущее

Релиз SkyReels-V1 знаменует новый этап в технологии генерации ИИ-видео. Эта модель не только упрощает творческий процесс, но и предоставляет создателям больше возможностей. Команда продолжит оптимизировать производительность модели и с нетерпением ждет отзывов и вклада сообщества.

Адрес проекта