H3 Relay HiresでMiniMax H3を4分の1の時間で1080pに仕上げる

ComfyUI Wikinews

H3 Relay HiresはComfyUI上でMiniMax H3のテイクを0.5 MPでレンダリングし、アニメ用アップスケーラーとDMAD 1ステップで1920x1088に仕上げます。RTX 5090で503秒かかるところを119秒に短縮します。

<strong>H3 Relay Hires</strong>は、MiniMax H3のテイクを0.5 MPで小さくレンダリングし、その後1920x1088で仕上げます。ゼロから学習したアニメ用アップスケーラーと、ターゲットサイズでのDMAD 1ステップを使い、パス1の音声はピン留めします。RTX 5090では、5秒のクリップが119秒で完成し、ネイティブ1920レンダリングの503秒と比べられます。しかもプレビューで確認済みの同じテイクです。
ネイティブ1920、1 MPアップスケール、Relay Hires、Fast Tail付きRelay Hires

上段: ネイティブ1920レンダリング。下段: Relay Hires。各ルートはそれぞれ独自のテイクをレンダリングするため、ポーズではなく描画を比較してください。

同じ比較をサウンド付きで、続いて半分の速度で収録したものです。

数値

RTX 5090で1920x1088の5秒クリップ(124フレーム)をエンドツーエンドで処理した結果:

クリップネイティブ19201 MP + 潜在アップスケール + リファインRelay Hires+ Fast Tail
Teen Titans風のパンチ492秒240秒116秒105秒
剣戟503秒241秒118秒107秒
Edgerunners風のロケット508秒245秒121秒109秒
Re:Zero風のメカアップ503秒241秒119秒108秒
ワイドショット、小さい顔500秒239秒117秒106秒

仕組み

  1. 960x544でのパス1がレイアウト、モーション、演技、音声を決定します。レンダリング時間の大半はここで消費され、1 MP時の151秒に対して60秒で済みます。
  2. AnimeSRがデコード済みフレームを約2秒でアップスケールします。H3は解像度に関係なく約2 px幅の線画を描くため、0.5 MPのフレームは1920には線が2倍太すぎます。そこで、この1.3 Mパラメータのアップスケーラーを9,470組のH3スタイルのペアで学習し、太さを元に戻します。
  3. シグマ0.60での1ステップがフレームを1920で再ノイズ化し、DMAD 1ステップでディテールを描き直してからデコードします。

作者が計測した設定: シグマ0.60(0.45では柔らかいまま、0.75では顔が描き直される)、1ステップ、ウィンドウアテンション4と8潜在フレームごとのアンカー。これにより長いクリップでの1920ステップが半分になります。H3 Fast Tail Samplerはパス1のeulerを置き換え、テイクを変えずに約20%短縮します。Pika H3 Flexのパス1は最速のルートですが、独自のテイクをレンダリングします。

ワイドショットの小さい顔: 0.5 MPプレビュー、AnimeSRのみ、Relay Hires

0.5 MPプレビュー | AnimeSRのみ | Relay Hires、1920での1:1クロップ。

解決しないこと

  • 線画は3.1〜3.9 pxとなり、ネイティブレンダリングの2.2〜3.0 pxと比べて太くなります。
  • 非常に速いアクションで0.5 MPのテイクですでに潰れているものは、ぼやけたままです。まず作者のde-ropeワークフローで該当フレームを修正してからrelayしてください。
  • AnimeSRはアニメ専用です。 実写風や絵画調のクリップには、ノードのupscale_model入力から任意のComfyUIアップスケールモデルを接続してください。絵画調のテストでは、RealESRGAN x2plusが肌やカードのディテールを保った一方、AnimeSRはそれをセルシェーディングに変えてしまいました。
  • 4フレームごとに明るさが脈動する場合は、オプションのSol-H3 VAEワークフローがエンコードコスト2倍で修正します。
殴り合い: パス1、旧de-ropeスケジュール、新スケジュール

パス1 | 旧de-ropeスケジュール | 0.8から開始する4ステップ版。パス1のフレーミングを維持します。

インストール

他のノードパックと同様にインストールします(ComfyUI Manager、またはcustom_nodes/へのクローン)。ComfyUIのMiniMax H3、DMAD 4ステップturbo LoRA、エンコード用のtaeh3ローダーが必要です。AnimeSRのウェイトはリポジトリに同梱されています。

example_workflows/には12個のサンプルワークフローがあります: relayのみ、続いてFast De-rope、FaceDetail、Anime Cadenceで、それぞれにFast Tail SamplerとPikaのバリアントもあります。一部は作者の他のパック、FastDerope、FaceDetail、ResCascade、AnimeCadence、さらにMAINodesも必要です。

入手方法

パックはgithub.com/tazmannner/ComfyUI-H3-RelayHiresにあります(MIT、v0.3.0)。独自のAnimeSR用トレーニングスクリプト(training/prep.py、training/train.py)はRTX 5090で約22分かかります。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
H3 Relay HiresでMiniMax H3を4分の1の時間で1080pに仕上げる | ComfyUI Wiki