TurboDiffusion Lanza Marco de Aceleración para Generación de Video

El equipo de aprendizaje automático de la Universidad Tsinghua recientemente publicó como código abierto TurboDiffusion, un marco de aceleración para generación de video que mejora significativamente la velocidad de generación de modelos de difusión de video mientras mantiene la calidad del video.

Rendimiento de Aceleración

Según las pruebas oficiales, TurboDiffusion logra una aceleración de 100 a 205 veces en la generación de difusión de extremo a extremo en una sola tarjeta gráfica RTX 5090.

Rendimiento de Aceleración del Modelo 1.3B

En el modelo Wan2.1 de 1.3B parámetros, el rendimiento de TurboDiffusion es particularmente destacado:

• Modelo original: Tiempo de generación de extremo a extremo aproximadamente 166 segundos
• TurboDiffusion: Solo se requieren 1.8 segundos, logrando aproximadamente 92x de aceleración

Esto significa que la generación de video que originalmente tomaba casi 3 minutos ahora se puede completar en menos de 2 segundos.

Rendimiento de Aceleración del Modelo 14B (Resolución 480p)

Para modelos más grandes de 14B parámetros, el efecto de aceleración es igualmente significativo:

• Modelo original: Tiempo de generación de extremo a extremo aproximadamente 1635 segundos (más de 27 minutos)
• FastVideo: Aproximadamente 23.2 segundos
• TurboDiffusion: Solo se requieren 9.4 segundos, logrando aproximadamente 174x de aceleración comparado con el modelo original

Comparado con otras soluciones de aceleración, TurboDiffusion mantiene una clara ventaja de velocidad, siendo aproximadamente 2.5 veces más rápido que FastVideo.

Preservación de la Calidad del Video

Importante, a pesar del dramático aumento en la velocidad de generación, TurboDiffusion mantiene una calidad de video cercana al modelo original. Las demostraciones de comparación oficiales muestran que los videos acelerados mantienen consistencia con los videos generados originalmente en términos de detalles de imagen, suavidad de movimiento y calidad general.

Características Técnicas

TurboDiffusion emplea múltiples técnicas de optimización para lograr aceleración, incluyendo el mecanismo de Atención Lineal Dispersa (SLA) y tecnología de cuantización SageAttention. Estas técnicas pueden reducir significativamente la carga computacional sin afectar notablemente la calidad del video, mejorando así la velocidad de generación.

El marco soporta entrenamiento e inferencia basados en el modelo Wan2.1 y proporciona código de entrenamiento completo y soporte de infraestructura, incluyendo FSDP2, Ulysses CP y puntos de control de activación selectivos.

Escenarios de Aplicación

Este marco está dirigido principalmente a escenarios de aplicación que requieren generación rápida de video, ayudando a los usuarios a reducir significativamente el tiempo de generación de video y mejorar la eficiencia del trabajo.

En aplicaciones prácticas, TurboDiffusion puede mejorar significativamente la experiencia del usuario en los siguientes escenarios:

• Vista previa creativa: Generar rápidamente múltiples versiones para comparación y selección creativa
• Retroalimentación en tiempo real: Obtener retroalimentación visual casi en tiempo real al ajustar parámetros
• Generación por lotes: Generar más contenido de video en la misma cantidad de tiempo
• Entornos con recursos limitados: Lograr generación eficiente de video incluso en dispositivos de una sola tarjeta

Además, el marco mantiene una calidad de video cercana al modelo original, haciéndolo adecuado para usuarios que requieren alta calidad de generación.

Información de Código Abierto

TurboDiffusion es publicado como código abierto bajo la licencia Apache-2.0, con código y documentación disponibles públicamente en GitHub. El equipo de desarrollo declara que están desarrollando activamente más características, incluyendo optimización de computación paralela, integración de vLLM-Omni y soporte para más modelos de generación de video.

Ver Efectos de Demostración

TurboDiffusion proporciona múltiples demostraciones de comparación de casos de generación real en el repositorio de GitHub, incluyendo resultados de prueba para diferentes escenarios y diferentes escalas de modelo. Estas demostraciones muestran intuitivamente comparaciones de tiempo antes y después de la aceleración y comparaciones de calidad de video. Los usuarios pueden ver efectos de demostración completos en la página principal del proyecto.

Enlaces Relacionados

• Repositorio GitHub: https://github.com/thu-ml/TurboDiffusion
• Video de Demostración: https://github.com/thu-ml/TurboDiffusion#turbodiffusion
• Artículo: TurboDiffusion: Accelerating Video Diffusion Models by 100—205 Times