StepFun выпускает Step-Video-T2V: модель генерации видео из текста с 300 миллиардами параметров

17 февраля 2025 года StepFun официально выпустил свою последнюю модель генерации видео из текста Step-Video-T2V. Эта модель имеет 300 миллиардов параметров и может генерировать высококачественные видео до 204 кадров. Это одна из крупнейших моделей генерации видео из текста в сообществе с открытым исходным кодом.

Особенности модели

• Сверхкрупномасштабные параметры: С 300 миллиардами параметров поддерживает генерацию видео до 204 кадров
• Высокий коэффициент сжатия: Использует технологию глубокого сжатия VAE для достижения 16x16 пространственного сжатия и 8x временного коэффициента сжатия
• Двуязычная поддержка: Имеет встроенный китайско-английский текстовый энкодер, который идеально поддерживает китайские промпты
• Лицензия открытого исходного кода: Открыт под лицензией MIT и поддерживает коммерческое использование
• Технология оптимизации: Использует технологию Direct Preference Optimization (DPO) для улучшения качества генерации видео

Требования к оборудованию

Официальная рекомендация - использовать GPU с 80 ГБ памяти для запуска модели для наилучшего эффекта генерации. Конкретные требования к оборудованию следующие:

• Генерация видео 544px992px204 кадра: Требует 77,64 ГБ памяти
• Генерация видео 544px992px136 кадров: Требует 72,48 ГБ памяти

Онлайн-опыт

В настоящее время Step-Video-T2V доступен на платформе Yuewen Video для публичного опыта. Платформа поддерживает генерацию плавных видео на 8 секунд, но может быть очередь ожидания.

Адрес открытого исходного кода

• Скачать модель: Hugging Face
• Технический отчет: arXiv:2502.10248

Команда StepFun заявила, что код этой модели будет интегрирован в официальную библиотеку Diffusers от Hugging Face, и они продолжат оптимизировать производительность модели и пользовательский опыт. Для пользователей, которые хотят развернуть локально, команда также предоставляет подробные документы по установке и использованию.