MiniMax H3 RefMods: ComfyUIで使えるトレーニング不要のリファレンスアダプター

ComfyUI Wikinews

RefModsはMiniMax H3向けの約1MBの条件付けアダプターです。キャラクターを一度エンコードすれば、ComfyUIでLoRAのように読み込んで、何度でも生成に再利用できます。

RefMods(Reference Latent Adapters)と呼ばれるコミュニティプロジェクトが、MiniMax H3動画でキャラクターの一貫性を保つ新しい方法を提供します。毎回の生成でリファレンス画像や動画を読み込む代わりに、リファレンスを一度だけエンコードして、約1MB〜1.6MBの小さな.safetensorsファイルに保存し、必要なときにいつでもLoRAのように読み込めます。このプロジェクトはRedditユーザーのmalcolmrey氏によるもので、RefModsウェイトライブラリ一式をHugging Faceで公開するとともに、インストールおよび使用ガイドも公開しています。

ComfyUI側は、オープンソースのノードパックComfyUI-MiniMaxH3Mod(MIT、99スター)が担当します。このノードパックは、条件付け経路を通じてRefModsの抽出、読み込み、適用を行います。

RefModsエディタのワークフロー

RefModsとは何か

RefModsは事前エンコード済みの条件付けレベルアダプターです。リファレンス画像、動画、またはGIFを一度VAEエンコードし、そのアイデンティティ情報まで凝縮して、単体のファイルとして保存します。生成時にはアダプターがH3の条件付けストリームに直接注入されるため、以下のメリットがあります。

  • 実行のたびにリファレンスをリアルタイムでVAEエンコードする必要がありません。
  • プロンプトに<Picture 1>のような位置指定の画像タグは不要です。
  • リファレンスの見た目がシーンの無関係な部分に「にじみ出る」ことはありません。
  • トレーニングループは不要です。LoRAトレーニングとは異なり、抽出は1パスで完了します。

ノードパック:抽出、読み込み、適用

ComfyUI-MiniMaxH3Modには5つのノード(v0.1.0)が含まれています。

ノード目的
Extract H3 RefMod画像/動画/GIFを1つの.safetensorsモッドに変換。training(プールされたコンセプト/アイデンティティのサムネイル)モードとencode(フル解像度VAE)モードを搭載
Load H3 RefModsLoRAローダー形式の行。最大8スロットで、各スロットに強度とcopiesトークン反復乗数を設定可能
Load H3 RefMod Axis符号付きA/Bスライダー。ネガティブ方向でモッドA、ポジティブ方向でモッドBを選択
Load H3 RefMod Folderフォルダー内のすべての画像/動画を、順序付きリファレンスリストとして読み込む
Apply H3 RefModモッドを条件付けに注入。保持率とステップごとのカーブ制御を備える
エディタでRefModsを読み込む

さらに、別のH3 RefMod Step Curveノードは、denoising中のどのタイミングでリファレンスが最も強く作用するかを制御します。concept_at_start、concept_at_middle、concept_at_endsなどのカーブ方向に加え、シードを設定できるscramble_seedも備えており、実行のたびにマルチリファレンスのモッドをローテーションできます。

H3ワークフローへの組み込み

2つのRefModノードは、条件付けローダーとガイダーまたはモーションコンテキストステージの間に配置します。

[ MiniMaxH3ImageToVideo / ReferenceToVideo ] (conditioning out)
                    |
                    v
          [ MiniMaxH3RefModApply ] <--- [ MiniMaxH3RefModsLoader ]
                    | (conditioning out)
                    v
     [ BasicGuider ] / [ MiniMaxH3MotionContext ]

プロンプトでは、身体的特徴の説明を添えた通常の被写体タグ(<Subject 1>、<Subject 2>)を使用します。複数キャラクターのシーンでは、ローダーの各スロットに1つのモッドを割り当てることで、アダプターがトークンの衝突なしに各アイデンティティをマッピングします。

サンプル出力

アダム・ドライバー RefModアデル RefMod

ウェイトライブラリ

Hugging Faceには現在、既製のRefModsが数百種類公開されています。1ファイルあたり約1.1MB〜1.6MBで、著名人、架空のキャラクター、解剖学/コンセプトアダプターなどが含まれ、すべてApache-2.0ライセンスで提供されています。ファイルはComfyUI/models/refmods/に配置すると、ローダーノードのドロップダウンに自動で表示されます。また、T2V、I2V、R2V、C2Vの各パイプラインをカバーするサンプル動画ライブラリとワークフローコレクションも公開されています。

入手方法

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
MiniMax H3 RefMods: ComfyUIで使えるトレーニング不要のリファレンスアダプター | ComfyUI Wiki