MiniMax H3 セマンティックブリッジ:ComfyUI でプロンプト遵守を改善する 11MB アダプター

ComfyUI Wikinews

独立した蒸留プロジェクトが、SenseNova U1.5 のセマンティクスを MiniMax H3 の条件付け空間に転送し、ComfyUI ノードと例付きワークフローを含む 11MB のスタンドアロンアダプターを提供します。

MiniMax H3 セマンティックブリッジ (Hugging Face) は、クロスアーキテクチャ蒸留を通じて、SenseNova U1.5 から MiniMax H3 の条件付け空間へセマンティック表現を転送する独立した研究プロジェクトです。結果として、約 11MB のスタンドアロンアダプター(v1.0、9 月 5 日リリース)が提供され、3 つの ComfyUI カスタムノードで構成され、すべて消費者向けハードウェア上で完全にローカルで動作します。公式な MiniMax リリースではありません。
MiniMax H3 セマンティックブリッジの ComfyUI ワークフロー例

公開された例付きワークフローは、標準的な H3 FL2VA パイプラインにおいて、セマンティックブリッジノードがテキスト条件付けの後、サンプリングの前に位置していることを示しています。

なぜ単に重みを移植しないのか

作者はまず明らかなアプローチを試みました:SenseNova U1.5 から MiniMax H3 へトランスフォーマーの重みを直接移植することです。それは完全に失敗しました。関連する 2D 重みを比較すると、H3 は 264 個の tensor を持ち、SenseNova は 593 個ですが、完全な形状の一致はゼロ、転置の一致はゼロ、入力または出力次元の一致もゼロでした。

実用的なインターフェースは条件付け表現であることがわかりました。H3 は内部の 5376 次元トランスフォーマー空間へ投影する前に 5120 次元のテキスト条件付けを受け取り、一方 SenseNova の言語表現は 4096 次元です。重みをコピーする代わりに、このプロジェクトは 2 つのアーキテクチャが同じプロンプトをどのように表現するかを整列させ、そのマッピングをコンパクトな H3 側のアダプターに蒸留しました。

リポジトリに完全に文書化されている研究経路では、隠れ表現の整列が、元の分布からの保持されたプロンプトで検証コサインが約 0.904、160 個の厳格な分布外プロンプトで 0.749 に達しました。推論時に SenseNova を実行するフル教師橋渡し(teacher bridge)は機能しましたが非現実的だったため、H3 自身の条件付けから直接教師由来の表現を予測する学生アダプターに蒸留されました。最終的な学生は 0.996 の教師表現コサインと 0.984 の補正コサインに達し、分布外補正は 0.990 です。

ComfyUI におけるアダプターの役割

アダプターは LoRA、チェックポイント結合、またはパラメータの接ぎ木ではありません。推論時には H3 条件付けのみに対して動作します:ノードはネイティブ H3 テキスト条件付けを学習されたセマンティック表現に変換し、それを大きさ整合させ、残差として戻し合わせます(C = H + alpha * (S - H))、拡散トランスフォーマーの重みを変更しません。推論時に SenseNova は必要ありません。

ノードパック (HF の zip) は 3 つのノードを提供します:

  • MiniMax H3 画像から動画へ + セマンティックブリッジ: スタンダードな H3 画像から動画へのパス用のドロップインラッパー
  • MiniMax H3 セマンティックブリッジ: 条件付け変換自体、alpha(デフォルト 0.10、A/B 例は 0.15)と magnitude_match(トークンごとの推奨)コントロール付き
  • MiniMax H3 セマンティックブリッジキャッシュクリア

インストール:zip ファイルを ComfyUI/custom_nodes/ に展開し、MiniMaxH3_SemanticBridge_v1.safetensorsComfyUI/models/semantic_bridge/ に配置して再起動します。アダプター全体は約 11MB です。

ターゲット:新しいスタイルではなく、プロンプト遵守

このプロジェクトは視覚的概念を追加するのではなく、セマンティック構造に焦点を当てています:複雑な構成、空間関係、解剖学、オブジェクトカウント、テキスト制約、素材と照明、反射または被写体遮蔽の挙動です。フラッグシップの A/B 例は、テーブルの上で平らに手を置くよう求めるプロンプトを強調しており、「すべての 5 つの指が自然に分離され、はっきりと見える」ようにするなど、多くの同時制約が含まれています。

ネイティブ MiniMax H3セマンティックブリッジ使用時
ネイティブ H3:右手がテーブルトップ上を漂うセマンティックブリッジ(アルファ 0.15):手がプロンプト通り静止したまま

ブリッジ有効時のガラステーブル A/B ペアの後半部分(アルファ 0.15)。

作者は明確に述べています、これらは制御されたペアからの定性的観察でありベンチマークではないこと:アダプターは一部のプロンプトには役立つかもしれませんが、他のものではほとんど効果がなく、 occasionally 結果を悪くすることもあります。表現空間の指標は、知覚的な品質向上に直接変換されるわけではありません。

範囲:FL2VA のみ、および 24GB 開発環境

2 つの実用的な注意点があります。第一に、v1 はスタンダードな FL2VA / テキスト条件付けパスでのみ動作します。Ref2VA 互換のバリアントがテストされ、参照音声歌唱やリップシンクが劣化したため、README では参照条件付け生成に使用しないよう明示的に警告されています。

第二に、プロジェクト全体(表現抽出、橋渡し実験、蒸留、評価)は、マルチ GPU クラスターなしで、24GB の単一 RTX 3090 Ti で実行されました。互換性のないアーキテクチャ間で学習された挙動を転送する実験にとって、これはリリースの中で最も興味深い部分と言えるでしょう。

入手方法

  • アダプター、ノード、ワークフロー、研究資料: speach1sdef178/MiniMax-H3-Semantic-Bridge on Hugging Face
  • ライセンス: モデル由来のアーティファクトは MiniMax H3 コミュニティライセンスに従います(NOTICE が含まれます);SenseNova U1.5 教師は Apache-2.0 であり、再配布されません
  • 完全な研究記事: RESEARCH_ARTICLE.md

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
MiniMax H3 セマンティックブリッジ:ComfyUI でプロンプト遵守を改善する 11MB アダプター | ComfyUI Wiki