pi-H3がMiniMax H3動画をComfyUIで2〜4ステップに短縮

ComfyUI Wikinews

pi-H3アダプターは、音声付きのMiniMax H3動画をComfyUIで2ステップまたは4ステップに短縮します。さらにVAEデコーダーを省略する実験的な経路も用意されています。重みも公開済みです。

pi-H3 は MiniMax H3 を蒸留し、音声が同期した動画を2ステップまたは4ステップで生成するジェネレーターにしました。重み、推論コード、ComfyUIノードは11月21日に公開されています。著者はスタンフォード大学の研究者Hansheng Chen、Gordon Wetzstein、Leonidas Guibasに加え、一部の作業をLuma AIで行った2名の共著者です。

クレイのパン焼き職人。1344x768、2ステップ、5秒、ステレオ音声付き。プロジェクト自身のギャラリーより。

得られるもの

1344x768、24 fps、音声付きpi-H3 2ステップpi-H3 4ステップSol-H3 4ステップ
5秒の動画3.81秒7.30秒9.48秒
10秒の動画9.16秒17.56秒24.31秒
15秒の動画18.58秒36.41秒44.96秒

B200 1台でのエンドツーエンド。テキストエンコードからデコード済みの動画と音声まで。著者らの数値とSol-H3の公開数値による比較。

アダプターは2系統あります。H3 VAEを通してデコードする通常の2/4ステップ版と、最後のデノイズステップでピクセルを予測してVAEデコーダーを完全に省略するDWD版です。DWD版はComfyUI向けにINT8 ConvRotで提供されています。バージョン1.0では、DWDリファイナーを畳み込みネットから、窓付きアテンションを用いた軽量なトランスフォーマーに置き換えました。著者によれば、これにより細部の動きがより滑らかになり、2ステップでのコヒーレンスが向上します。

ComfyUIで実行する

  1. ComfyUI ManagerからComfyUI-piFlowをインストールするか、custom_nodesにクローンします。ComfyUI 0.45.0以降が必要で、サードパーティ製のpi-H3またはpi-Flow拡張は事前に削除してください。
  2. リポジトリのworkflowsフォルダーからpi-H3-DWD.jsonまたはpi-H3.jsonを読み込みます。pi-H3 Adapterノードで2ステップと4ステップを切り替え、対応するpi-Flowスケジューラーの値を設定します。
  3. pi_h3_2step_dwd_adapter_int8_convrot.safetensors(または4ステップ用ファイル)をmodels/loras/に配置し、Comfy-Org/MiniMax-H3のminimax_h3_fl2va_pruned_int8_convrot.safetensorsと組み合わせます。DWDワークフローでは、動画VAEはキーフレームにのみ必要で、音声VAEは通常どおり必要です。
RTX 3090、DWD 2ステップ、INT85秒10秒15秒
864x48015.5秒37.3秒69.2秒
1344x76838.5秒97.6秒186.1秒

対応するのはFL2VAトランクのみです。テキスト、最初のフレーム、最後のフレーム、またはその両方を指定できます。Ref2VAアダプターは存在しないため、参照画像による条件付けは利用できません。

テスターの報告

  • Kijaiは両方のアダプターをComfyUI用の標準的なH3 LoRAキーに変換し、最近の蒸留モデルの中では「今のところ最高の2ステップ版」と評しています。一方でDWDにはやや懐疑的で、INT8 Sol VAEを使った場合、5秒・768pのクリップでデコーダーを省略しても1秒未満しか短縮できず、DWDの出力はVAEでデコードしたフレームより見劣りしたと述べています。
  • JohnDopamineは同じプロンプトとノイズでVAEとDWDを比較しました。DWDは2ステップでより持ちこたえ、VAEは4ステップ以上で優位でした。彼の結論は、一般用途なら通常のアダプターの2ステップで十分というものでした。
  • boopは2ステップアダプターがVAE併用で問題なく見え、音声も期待以上だったと報告していますが、速い動きではまだ未検証です。
  • DWD版に他のH3 LoRAを重ねると裏目に出ることがあります。ブロック46〜49もピクセルヘッド経由で学習しているため、それを前提としないアダプターとは競合する可能性があります(Kijai)。
水中のジャズクラブ

VAEデコーダーなしでレンダリングした、14秒・2ステップ映像からの1フレーム。

水中のジャズクラブ、2ステップ、VAEデコーダーなし、1344x768、14秒。

入手する

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
pi-H3がMiniMax H3動画をComfyUIで2〜4ステップに短縮 | ComfyUI Wiki