TurboDiffusion выпускает фреймворк ускорения генерации видео

Команда машинного обучения Университета Цинхуа недавно выпустила в открытый доступ TurboDiffusion, фреймворк ускорения генерации видео, который значительно улучшает скорость генерации видео диффузионных моделей при сохранении качества видео.

Производительность ускорения

Согласно официальным тестам, TurboDiffusion достигает ускорения сквозной генерации диффузии в 100-205 раз на одной видеокарте RTX 5090.

Производительность ускорения модели 1.3B

На модели Wan2.1 с 1.3B параметрами производительность TurboDiffusion особенно выдающаяся:

Исходная модель: время сквозной генерации приблизительно 166 секунд
TurboDiffusion: требуется всего 1.8 секунды, достигая приблизительно 92x ускорения

Это означает, что генерация видео, которая изначально занимала почти 3 минуты, теперь может быть завершена менее чем за 2 секунды.

Производительность ускорения модели 14B (разрешение 480p)

Для более крупных моделей с 14B параметрами эффект ускорения также значителен:

Исходная модель: время сквозной генерации приблизительно 1635 секунд (более 27 минут)
FastVideo: приблизительно 23.2 секунды
TurboDiffusion: требуется всего 9.4 секунды, достигая приблизительно 174x ускорения по сравнению с исходной моделью

По сравнению с другими решениями ускорения, TurboDiffusion сохраняет явное преимущество в скорости, будучи примерно в 2.5 раза быстрее FastVideo.

Сохранение качества видео

Важно, что несмотря на драматическое увеличение скорости генерации, TurboDiffusion поддерживает качество видео, близкое к исходной модели. Официальные сравнительные демонстрации показывают, что ускоренные видео поддерживают согласованность с изначально сгенерированными видео в плане деталей изображения, плавности движений и общего качества.

Технические особенности

TurboDiffusion использует несколько техник оптимизации для достижения ускорения, включая механизм разреженного линейного внимания (SLA) и технологию квантования SageAttention. Эти техники могут значительно снизить вычислительную нагрузку без заметного влияния на качество видео, тем самым улучшая скорость генерации.

Фреймворк поддерживает обучение и вывод на основе модели Wan2.1 и предоставляет полный код обучения и поддержку инфраструктуры, включая FSDP2, Ulysses CP и селективные контрольные точки активации.

Сценарии применения

Этот фреймворк в первую очередь нацелен на сценарии применения, требующие быстрой генерации видео, помогая пользователям значительно сократить время генерации видео и повысить эффективность работы.

В практических приложениях TurboDiffusion может значительно улучшить пользовательский опыт в следующих сценариях:

Творческий предпросмотр: быстрая генерация нескольких версий для творческого сравнения и выбора
Обратная связь в реальном времени: получение почти мгновенной визуальной обратной связи при настройке параметров
Пакетная генерация: создание большего количества видео контента за то же время
Ресурсно-ограниченные среды: достижение эффективной генерации видео даже на устройствах с одной картой

Кроме того, фреймворк поддерживает качество видео, близкое к исходной модели, делая его подходящим для пользователей, требующих высокого качества генерации.

Информация об открытом исходном коде

TurboDiffusion выпущен под лицензией Apache-2.0, код и документация доступны публично на GitHub. Команда разработчиков заявляет, что активно разрабатывает больше функций, включая оптимизацию параллельных вычислений, интеграцию vLLM-Omni и поддержку большего количества моделей генерации видео.

Просмотр демонстрационных эффектов

TurboDiffusion предоставляет несколько демонстраций сравнения реальных случаев генерации в репозитории GitHub, включая результаты тестов для различных сценариев и различных масштабов моделей. Эти демонстрации интуитивно показывают сравнения времени до и после ускорения и сравнения качества видео. Пользователи могут просмотреть полные демонстрационные эффекты на главной странице проекта.

Связанные ссылки

Репозиторий GitHub: https://github.com/thu-ml/TurboDiffusion
Демо видео: https://github.com/thu-ml/TurboDiffusion#turbodiffusion
Статья: TurboDiffusion: Accelerating Video Diffusion Models by 100—205 Times