HyperFlow: ComfyUI対応のMiniMax H3 8ステップLoRA

ComfyUI Wikinews

Video RebirthのHyperFlowは、データ不要の自己蒸留LoRAによりMiniMax H3のサンプリングを49回のtransformerフォワードから8回に削減。その後、2つのComfyUI移植版が登場しました。

Video Rebirth は、MiniMax H3 向けの8ステップLoRAであるHyperFlowをリリースしました。これはベースモデルの49回のtransformerフォワードを8回にまで圧縮します。H3高速化競争における最新の登場であり、lightx2vやModelTCの蒸留とは異なり、リリースから数日以内に2つの独立したComfyUI移植版が登場しています。

HyperFlowのカメラコントロール例

Video RebirthのショーケースページによるHyperFlowのカメラコントロール例。

HyperFlowとは

HyperFlowはデータ不要のフロー自己蒸留によって得られました。モデルは自ら候補動画を生成し、品質でフィルタリングし、合格した候補から蒸留します。外部データも人手によるラベルも不要です。Video Rebirthはこれを、自社の動画モデルを支えるトレーニングパラダイムであるRSI(Recursive Self-Improvement)の自己蒸留コンポーネントと位置づけています。

重要な構造上の選択: ベースの重み、両方のVAE、conditioner、およびt2vafl2varef2vaのワークフローはすべて公式のMiniMax H3のままです。リリースされたのはLoRAのみです。

項目
アダプタ形式PEFT LoRA、ランク256 / アルファ256
モジュール316: アテンション、フィードフォワード、および両方のtime embedder
サイズ2.8 GBの単一safetensorsファイル
サンプリングファイルに保存された固定シグマグリッド上で8回のフォワードパス(video shift 12、audio shift 3)
対応範囲t2vafl2varef2va、ビデオと音声を同時に

上流の実装は公式のdiffusers Modular Pipeline上で動作し、マージ済みモデルではなくローダーとサンプルスクリプトを提供しているため、diffusers 0.40以降とともにpip install "hyperflow-h3[examples] @ git+https://github.com/Video-Rebirth/hyperflow.git"が必要です。HyperFlowは最大4基のGPUにわたるUlyssesコンテキスト並列と、NVIDIAのSol-Attnスパースアテンションカーネルもサポートしています。

HyperFlowの視覚的一貫性の例

クリップ全体にわたる一貫性。Video Rebirthが公開した4つのショーケースカテゴリの1つです。

2つのComfyUIルート

このLoRAはComfyUIのLoRAローダーにそのまま入るファイルではありません。現在、これを実行する方法は2つあります。

1. ComfyUI内蔵ローダーを使ったコミュニティによる変換。 コントリビューターのdrbaphがHyperFlowをComfyUIのキーレイアウトに変換し、フルおよびpruned/curve形式のH3ベースをカバーする4つのファイルを公開しました:

ファイルバリアント
minimax_h3_hyperflow_8step_v1.0_comfyui_bf16.safetensorsフルBF16
minimax_h3_hyperflow_8step_v1.0_comfyui_bf16_resized_avg_rank_20_bf16.safetensorsリサイズ済み、平均ランク20
minimax_h3_hyperflow_8step_v1.0_comfyui_pruned_bf16.safetensorspruned/curve形式のベース向け
minimax_h3_hyperflow_8step_v1.0_comfyui_pruned_bf16_resized_avg_rank_20_bf16.safetensorspruned + リサイズ済み

これらはComfyUI内蔵のMiniMax H3 LoRAローダーで読み込め、カスタムノードは不要です。ドキュメントに記載された設定は8ステップ、LoRA強度は1.0から開始、およびeuler / 通常または上流の手動シグマシーケンスのいずれかです:

1.0, 0.931506, 0.839236, 0.703462, 0.5, 0.296538, 0.160764, 0.068494, 0.0

2. エンドポイント条件付けを再現するノードパック。 ComfyUI-HyperFlowは、単純な変換が等価ではない理由を説明しています。HyperFlowはLoRAだけではありません。各ステップは、統合する区間(t, r)r = 1 - sigma_next)によって条件付けられ、2つ目のLoRA適用済みtime embedderを通じてemb_t(t) + gate*(emb_r(r) - emb_t(t))として処理されます。ComfyUIのサンプラーはrを渡さないため、このパックはエンドポイントembedderを構築してtime_embedder.forwardをパッチし、video、text、audio、ピン留めキーフレームの各行についてエンドポイントを計算します。また、PEFTのパラメータ名をComfyUIの融合されたqkv_projmlp.fc1proj_in/proj_outターゲットに再マッピングし、パッチすべきtime embedderを持たないcurve形式のチェックポイントを拒否します。このパックにはComfyUI以外の依存関係はありません。

HyperFlowのマテリアルとディテールの例

マテリアルとディテール: few-stepのH3蒸留が通常最初に失うカテゴリです。

独立した裏付け

最も強力な第三者のシグナルはNVIDIAのリサーチリポジトリにあります: NVlabs/Sana PR #507は、T2V、先頭フレームI2V、および音声同期付きの画像参照Ref2VA向けに、models/minimax_h3/HyperFlow/配下へHyperFlowの8ステップ推論を追加し、9月19日にマージされました。この統合はVideo Rebirthの正確なコミットとLoRAリビジョンを固定し、HyperFlowの2時刻条件付けと8ステップスケジュールを維持し、transformertransformer_refの重みを別々に保持し、Sol-H3 Ulysses、SOL/BSA、並列VAEパスに加えて、検証済みのconditionerプルーニングを伴うペアのAdaLN事前計算を追加しています。初期の常駐プロファイルは、5秒・10秒・15秒のプリセットで1344x768の8基のB200 GPUを対象としています。

初期ユーザーの評価

HyperFlowはリリース翌日の9月18日にBanodocoの#minimax_h3_chatterに登場し、スレッドは「新しい8ステップローラがリリースされた」から、旧H3 Turbo LoRAとの実践的な比較へと急速に移りました。

  • drbaph(ComfyUI変換を行った人物)は、セールスポイントを「他のturbo loraと比べてh3の品質、一貫性/カメラコントロール/ディテールに近い」と述べ、上流の推奨どおり強度1.0でテストしていると付け加えました。8ステップの選択肢の中での彼自身の好みは依然として抽出されたDMD VDN LoRAであり、これはHyperFlowに「近い」と評しています。
  • hacs2000は両方をテストし、「very good」と評価しました。
  • Stefは、手動シグマ表は見落とされやすいため、ユーザーが見つけられる場所に文書化すべきだと指摘しました。

実行を比較する前にシグマの注意点を確認してください: drbaphの変換では固定グリッドを手動シグマとして公開している一方、ノードパックはエンドポイントをネイティブに計算するため、2つのルートはバイト単位で同一ではありません。

HyperFlowのバランスの取れた能力の例

バランスの取れた能力。4番目のショーケースカテゴリです。

入手方法

HyperFlowが他のH3高速化と比べてどの位置にあるかは、H3 Acceleration ArenaのブラインドA/Bランキングを参照してください。また、以前のスタンドアロンTurbo変換ワークフローについてはVDN-H3 Turbo Standaloneをご覧ください。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
HyperFlow: ComfyUI対応のMiniMax H3 8ステップLoRA | ComfyUI Wiki