StepFun выпускает Step-Video-T2V: модель генерации видео из текста с 300 миллиардами параметров
17 февраля 2025 года StepFun официально выпустил свою последнюю модель генерации видео из текста Step-Video-T2V. Эта модель имеет 300 миллиардов параметров и может генерировать высококачественные видео до 204 кадров. Это одна из крупнейших моделей генерации видео из текста в сообществе с открытым исходным кодом.
Особенности модели
- Сверхкрупномасштабные параметры: С 300 миллиардами параметров поддерживает генерацию видео до 204 кадров
- Высокий коэффициент сжатия: Использует технологию глубокого сжатия VAE для достижения 16x16 пространственного сжатия и 8x временного коэффициента сжатия
- Двуязычная поддержка: Имеет встроенный китайско-английский текстовый энкодер, который идеально поддерживает китайские промпты
- Лицензия открытого исходного кода: Открыт под лицензией MIT и поддерживает коммерческое использование
- Технология оптимизации: Использует технологию Direct Preference Optimization (DPO) для улучшения качества генерации видео
Требования к оборудованию
Официальная рекомендация - использовать GPU с 80 ГБ памяти для запуска модели для наилучшего эффекта генерации. Конкретные требования к оборудованию следующие:
- Генерация видео 544px992px204 кадра: Требует 77,64 ГБ памяти
- Генерация видео 544px992px136 кадров: Требует 72,48 ГБ памяти
Онлайн-опыт
В настоящее время Step-Video-T2V доступен на платформе Yuewen Video для публичного опыта. Платформа поддерживает генерацию плавных видео на 8 секунд, но может быть очередь ожидания.
Адрес открытого исходного кода
- Скачать модель: Hugging Face
- Технический отчет: arXiv:2502.10248
Команда StepFun заявила, что код этой модели будет интегрирован в официальную библиотеку Diffusers от Hugging Face, и они продолжат оптимизировать производительность модели и пользовательский опыт. Для пользователей, которые хотят развернуть локально, команда также предоставляет подробные документы по установке и использованию.