Bernini: framework de vídeo con planificación semántica de ByteDance
Bernini es el framework abierto de generación y edición de vídeo de ByteDance: un planificador semántico y un renderizador basado en Wan2.2, publicado bajo licencia Apache-2.0.
Bernini de ByteDance
Generación de VídeoEdición de VídeoDiTByteDanceBernini es el framework abierto de generación y edición de vídeo de ByteDance. Un modelo de lenguaje multimodal actúa como planificador semántico que escribe un plan de planos, y un renderizador transformer de difusión convierte ese plan en vídeo. El mismo pipeline cubre texto a vídeo, referencia a vídeo, edición de vídeo y transferencia estética, y se distribuye en formato diffusers para ComfyUI.
| Desarrollador | ByteDance |
| Arquitectura | Planificador semántico (LLM multimodal) + renderizador de vídeo DiT sobre una base Wan2.1/2.2 |
| Licencia | Apache-2.0 |
| Modos de generación | Texto a vídeo, referencia a vídeo, edición de vídeo, transferencia estética |
| Precisiones | fp16, fp8, int8, MXFP8, NVFP4 (según la versión y el paquete de ComfyUI) |
Variantes
| Variante | Descripción | Licencia | Lanzamiento |
|---|---|---|---|
| Bernini-R | Componente renderizador de vídeo DiT: planificador semántico MLLM más un renderizador Wan2.1/2.2 para generación y edición | Apache-2.0 | 2026-06 |
| Bernini v2 | Pipeline completo de planificación semántica en formato diffusers: planificador Qwen2.5-VL, renderizador dual-DiT Wan2.2, edición guiada por referencia más potente | Apache-2.0 | 2026-08 |
Selecciona una variante arriba para consultar descargas de pesos seleccionadas, tutoriales e información relacionada.
Qué hace Bernini
- Planificación semántica: un modelo de lenguaje multimodal convierte el prompt y las imágenes de referencia en un plan de planos explícito antes del renderizado, lo que mantiene las escenas con varios sujetos y las ediciones dentro del objetivo.
- Un pipeline, muchas tareas: texto a vídeo, referencia a vídeo, edición vídeo a vídeo, edición guiada por referencia y transferencia estética funcionan todos a través del mismo planificador y renderizador.
- Lanzamientos primero en diffusers: ByteDance publica el pipeline en formato diffusers, por lo que se carga con herramientas estándar y la comunidad lo reempaqueta para ComfyUI.
Soporte en ComfyUI
Bernini está disponible en ComfyUI mediante reempaquetado de la comunidad, no a través de un paquete de nodos propio del desarrollador. El paquete Bernini-v2-ComfyUI proporciona pesos FP8 y NVFP4 y un único flujo de trabajo que cubre las seis tareas compatibles.
Comentarios
Inicia sesión con GitHub para unirte a la conversación.