Bernini : le framework vidéo de planification sémantique de ByteDance
Bernini est le framework vidéo ouvert de ByteDance : un planificateur sémantique et un moteur de rendu basé sur Wan2.2, publié sous licence Apache-2.0.
Bernini par ByteDance
Video GenerationVideo EditingDiTByteDanceBernini est le framework ouvert de génération et d'édition vidéo de ByteDance. Un modèle de langage multimodal joue le rôle de planificateur sémantique qui rédige un plan de prises, et un moteur de rendu diffusion transformer transforme ce plan en vidéo. Le même pipeline couvre le texte-vers-vidéo, la référence-vers-vidéo, l'édition vidéo et le transfert esthétique, et il est fourni au format diffusers pour ComfyUI.
| Développeur | ByteDance |
| Architecture | Planificateur sémantique (LLM multimodal) + moteur de rendu vidéo DiT sur une base Wan2.1/2.2 |
| Licence | Apache-2.0 |
| Modes de génération | Texte-vers-vidéo, référence-vers-vidéo, édition vidéo, transfert esthétique |
| Précisions | fp16, fp8, int8, MXFP8, NVFP4 (selon la version et le pack ComfyUI) |
Variantes
| Variante | Description | Licence | Date de publication |
|---|---|---|---|
| Bernini-R | Composant de rendu vidéo DiT : planificateur sémantique MLLM plus un moteur de rendu Wan2.1/2.2 pour la génération et l'édition | Apache-2.0 | 2026-06 |
| Bernini v2 | Pipeline complet de planification sémantique au format diffusers : planificateur Qwen2.5-VL, moteur de rendu double DiT Wan2.2, édition guidée par référence plus performante | Apache-2.0 | 2026-08 |
Sélectionnez une variante ci-dessus pour obtenir des téléchargements de poids sélectionnés, des tutoriels et des informations connexes.
Ce que fait Bernini
- Planification sémantique : un modèle de langage multimodal convertit le prompt et les éventuelles images de référence en un plan de prises explicite avant le rendu, ce qui permet de garder les scènes à plusieurs sujets et les modifications conformes à la cible.
- Un seul pipeline, de nombreuses tâches : le texte-vers-vidéo, la référence-vers-vidéo, l'édition vidéo-vers-vidéo, l'édition guidée par référence et le transfert esthétique passent tous par le même planificateur et le même moteur de rendu.
- Des versions pensées pour diffusers : ByteDance publie le pipeline au format diffusers, il se charge donc avec les outils standards et est reconditionné pour ComfyUI par la communauté.
Prise en charge dans ComfyUI
Bernini est disponible dans ComfyUI via un reconditionnement par la communauté plutôt qu'un pack de nœuds officiel. Le pack Bernini-v2-ComfyUI fournit des poids FP8 et NVFP4 ainsi qu'un unique flux de travail couvrant les six tâches prises en charge.
Commentaires
Connectez-vous avec GitHub pour rejoindre la discussion.