Bernini: фреймворк планирования видео от ByteDance
Bernini: открытый фреймворк ByteDance для генерации и редактирования видео. Языковая модель-планировщик и видеорендерер на базе Wan2.2 под лицензией Apache-2.0.
Bernini от ByteDance
Video GenerationVideo EditingDiTByteDanceBernini: открытый фреймворк ByteDance для генерации и редактирования видео. Мультимодальная языковая модель выступает семантическим планировщиком и пишет план раскадровки, а рендерер на основе diffusion transformer превращает этот план в видео. Один и тот же конвейер охватывает генерацию видео из текста, генерацию по референсу, редактирование видео и перенос эстетики, и он поставляется в формате diffusers для ComfyUI.
| Разработчик | ByteDance |
| Архитектура | Семантический планировщик (мультимодальная LLM) + видеорендерер DiT на базе Wan2.1/2.2 |
| Лицензия | Apache-2.0 |
| Режимы генерации | Генерация видео из текста, генерация по референсу, редактирование видео, перенос эстетики |
| Точности | fp16, fp8, int8, MXFP8, NVFP4 (в зависимости от релиза и пакета для ComfyUI) |
Варианты
| Вариант | Описание | Лицензия | Выпущено |
|---|---|---|---|
| Bernini-R | Компонент видеорендерера DiT: семантический планировщик MLLM плюс рендерер Wan2.1/2.2 для генерации и редактирования | Apache-2.0 | 2026-06 |
| Bernini v2 | Полный конвейер семантического планирования в формате diffusers: планировщик Qwen2.5-VL, двойной DiT-рендерер Wan2.2, более сильное редактирование по референсу | Apache-2.0 | 2026-08 |
Выберите вариант выше, чтобы получить подборку загрузок весов, учебники и связанную информацию.
Что умеет Bernini
- Семантическое планирование: мультимодальная языковая модель преобразует промпт и любые референсные изображения в явный план раскадровки ещё до рендеринга, что помогает точно выдерживать сцены с несколькими субъектами и правки.
- Один конвейер, много задач: генерация видео из текста, генерация по референсу, редактирование видео, редактирование по референсу и перенос эстетики проходят через один и тот же планировщик и рендерер.
- Релизы в первую очередь для diffusers: ByteDance публикует конвейер в формате diffusers, поэтому он загружается стандартными инструментами, а сообщество переупаковывает его для ComfyUI.
Поддержка в ComfyUI
Bernini доступен в ComfyUI благодаря переупаковке сообществом, а не официальному пакету узлов. Пакет Bernini-v2-ComfyUI предоставляет веса FP8 и NVFP4 и единый рабочий процесс, охватывающий шесть поддерживаемых задач.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.