Bernini-R S2V: Генерация видео по речи на модели Bernini-R от ByteDance
rzgar выпустил Bernini-R-S2V — донастройку speech-to-video, добавляющую возможности синхронизации губ по аудио из Wan2.2 S2V в модель Bernini-R от ByteDance, с собственными кастомными узлами ComfyUI и несколькими вариантами точности.
Разработчик сообщества rzgar выпустил Bernini-R-S2V — донастройку speech-to-video (S2V), которая переносит возможности синхронизации губ по аудио из Wan2.2 S2V в модель Bernini-R от ByteDance. Релиз добавляет выразительную генерацию говорящих голов в экосистему Bernini, предоставляя собственные кастомные узлы ComfyUI и поддержку точностей FP16, FP8 и INT8.
Генерация видео по речи на Bernini-R с использованием аудиосинхронизации губ. Источник: rzgar/Bernini-R-S2V
Что такое Bernini-R?
Burnini-R — это открытая платформа генерации и редактирования видео от ByteDance, построенная на архитектуре Wan2.2 DiT. Она объединяет семантический планировщик на базе MLLM (Qwen2.5-VL) с двухэкспертным рейдерером Diffusion Transformer и поддерживает задачи text-to-video, image-to-video, video-to-video и мультимодального редактирования видео. Модель отлично следует инструкциям для сложных запросов на генерацию и редактирование, а официальную поддержку ComfyUI предоставляет Comfy-Org.
Генерация видео по речи на Bernini-R
Донастройка Bernini-R-S2V адаптирует модуль Wan2.2 S2V (speech-to-video), изначально разработанный Wan-AI для генерации говорящих голов по аудио, и интегрирует его в архитектуру Bernini-R. Теперь пользователи могут управлять сгенерированными персонажами Bernini-R с помощью речевого аудио для естественной синхронизации губ, поддерживая как рабочие процессы image-to-video, так и video-to-video.
Модель доступна в нескольких вариантах точности:
| Вариант | Размер | Примечания |
|---|---|---|
| FP16 | ~27 ГБ | Чекпоинты с высоким и низким шумом, полная точность |
| FP8 (scaled) | ~14 ГБ | Уменьшенное потребление памяти с масштабированным квантованием |
| INT8 (ConvRot) | ~13 ГБ | convRot-квантование для агрессивной экономии памяти |
Каждый уровень шума представлен в двух вариантах: high_noise (больше движения/деталей) и low_noise (ближе к исходнику, плавнее).
Интеграция с ComfyUI
В репозитории на HF прилагается набор кастомных узлов ComfyUI-WanBerniniS2V_v2 в виде zip-архива, с готовыми workflow JSON (Workflow V2, original workflow, audio preparation). Также доступно зеркало сообщества на GitHub от AIMixer.
Рабочий процесс узла BerniniS2V Conditioning V2 для синхронизации губ одного/двух говорящих с маскированием. Источник: rzgar/Bernini-R-S2V
Результат инференса в FP8 — генерация видео по речи на Bernini-R с синхронизацией губ. Источник: rzgar/Bernini-R-S2V
Ключевые компоненты кастомного узла:
- BerniniS2V Conditioning — обработка аудио-вложений и S2V-кондиционирования для Bernini-R
- Workflow V2 — обновлённый шаблон рабочего процесса для image-to-video S2V-генерации с поддержкой маскирования
- Обработка аудио — интеграция аудиокодировщика wav2vec2 для извлечения речевых признаков
Участники сообщества Banodoco поделились рабочими процессами для этого узла, включая настройки с дополнительными TTS-узлами для пайплайнов text-to-speech-to-video.
Попробуйте онлайн
Hugging Face Space от hugging-apps предоставляет демо говорящей головы на ZeroGPU. Загрузите портретное фото и речевой клип, чтобы сгенерировать видео с синхронизированными губами, используя дистиллированный сэмплинг LightX2V (4 шага) для быстрого вывода.
Отзывы сообщества
Модель быстро набрала популярность в сообществе генеративного ИИ, особенно среди пользователей Bernini-R, которым не хватало возможностей S2V. Обсуждения в Discord Banodoco показывают как энтузиазм по поводу новой функциональности, так и продолжающуюся оптимизацию рабочих процессов: пользователи делятся техниками маскирования и подходами к интеграции TTS. На момент написания модель имеет 7 лайков и 158 загрузок на Hugging Face.