ComfyUI カスタムノードで Bernini v2 が利用可能に
rzgar が ByteDance の Bernini-Diffusers-v2 セマンティックプランナーと Wan2.2 レンダラーを ComfyUI カスタムノードにパッケージ化。FP8 および NVFP4 ウエイト付きで、6 つのタスクに対応する単一のワークフローを提供。
概要
完全な Bernini v2 pipeline は以前、ByteDance の公式 diffusers コードを通じてのみ実行可能でした。ComfyUI パックはそれをノードベースのワークフローに変換します:コネクタ付きのファインチューニング済みの Qwen2.5-VL プランナーと MaskGIT スタイルの ViT デコーダーが、テキストとソース視覚情報をセマンティックプラントークンに変換し、その後、2 つの共同トレーニング済み Wan2.2 DiT(高ノイズと低ノイズ、0.875 で切り替え)が、ソースメディアをコンテキスト latent として注入して動画をレンダリングします。
Bernini v2 の計画およびレンダリング pipeline が ComfyUI カスタムノードとして動作中。ソース:rzgar/Bernini-v2-ComfyUI
6 つのタスク、1 つのワークフロー
タスク選択は、どのメディア入力が接続されているかによって自動的に決定されます:
| 接続された入力 | タスク |
|---|---|
| なし | テキストから動画へ (t2v) |
| 参照画像のみ | 参照から動画 (r2v) |
| ソース動画 | 動画から動画へ編集 (v2v) |
| ソース動画+参照画像 | 参照ガイド付き編集 (rv2v) |
| ソース動画+参照動画 | 美的方向転送 (ads2v) |
推奨設定:CFG 3、16 から 50 ステップ、UniPC / DPMPP_2M / EULER sampler。
モデルファイル
パックには両方の DiT の FP8 スケール版および NVFP4 量子化版に加え、models/text_encoders/ 配下に配置されるプランナーアセット(MLLM、コネクタ、ViT デコーダー、マスクトークン)が含まれます。プランナーの tokenizer およびプロセッサ設定は、リポジトリ内の別個の zip として提供されます。すべてのコンポーネントは モデルページ にリストされています。
背景:Bernini v2
ByteDance は 2026 年 6 月に完全な Bernini フレームワークをオープンソース化し、8 月 13 日に Bernini-Diffusers-v2 としてパッケージ化しました。v2 トレーニングレシピでは、共学習の前にコネクタを数千ステップウォームアップし、これにより最初の diffusers リリースよりも参照ガイド付き編集と OpenS2V スコア(63.83)が改善されました。ByteDance の内部ブラインドアリーナにおいて、Bernini はクローズドソース商用モデル間の動画編集において最上位階級にランクされています。
Bernini フレームワーク:MLLM セマンティックプランナーが指示を分解し、Wan2.2 DiT レンダラーが動画を生成します。ソース:Bernini プロジェクトページ
コメント
GitHubでサインインしてディスカッションに参加しましょう。