pi-H3がMiniMax H3動画をComfyUIで2〜4ステップに短縮
ComfyUI Wikinews
pi-H3アダプターは、音声付きのMiniMax H3動画をComfyUIで2ステップまたは4ステップに短縮します。さらにVAEデコーダーを省略する実験的な経路も用意されています。重みも公開済みです。
pi-H3 は MiniMax H3 を蒸留し、音声が同期した動画を2ステップまたは4ステップで生成するジェネレーターにしました。重み、推論コード、ComfyUIノードは11月21日に公開されています。著者はスタンフォード大学の研究者Hansheng Chen、Gordon Wetzstein、Leonidas Guibasに加え、一部の作業をLuma AIで行った2名の共著者です。
クレイのパン焼き職人。1344x768、2ステップ、5秒、ステレオ音声付き。プロジェクト自身のギャラリーより。
得られるもの
| 1344x768、24 fps、音声付き | pi-H3 2ステップ | pi-H3 4ステップ | Sol-H3 4ステップ |
|---|---|---|---|
| 5秒の動画 | 3.81秒 | 7.30秒 | 9.48秒 |
| 10秒の動画 | 9.16秒 | 17.56秒 | 24.31秒 |
| 15秒の動画 | 18.58秒 | 36.41秒 | 44.96秒 |
B200 1台でのエンドツーエンド。テキストエンコードからデコード済みの動画と音声まで。著者らの数値とSol-H3の公開数値による比較。
アダプターは2系統あります。H3 VAEを通してデコードする通常の2/4ステップ版と、最後のデノイズステップでピクセルを予測してVAEデコーダーを完全に省略するDWD版です。DWD版はComfyUI向けにINT8 ConvRotで提供されています。バージョン1.0では、DWDリファイナーを畳み込みネットから、窓付きアテンションを用いた軽量なトランスフォーマーに置き換えました。著者によれば、これにより細部の動きがより滑らかになり、2ステップでのコヒーレンスが向上します。
ComfyUIで実行する
- ComfyUI ManagerからComfyUI-piFlowをインストールするか、
custom_nodesにクローンします。ComfyUI 0.45.0以降が必要で、サードパーティ製のpi-H3またはpi-Flow拡張は事前に削除してください。 - リポジトリの
workflowsフォルダーからpi-H3-DWD.jsonまたはpi-H3.jsonを読み込みます。pi-H3 Adapterノードで2ステップと4ステップを切り替え、対応するpi-Flowスケジューラーの値を設定します。 pi_h3_2step_dwd_adapter_int8_convrot.safetensors(または4ステップ用ファイル)をmodels/loras/に配置し、Comfy-Org/MiniMax-H3のminimax_h3_fl2va_pruned_int8_convrot.safetensorsと組み合わせます。DWDワークフローでは、動画VAEはキーフレームにのみ必要で、音声VAEは通常どおり必要です。
| RTX 3090、DWD 2ステップ、INT8 | 5秒 | 10秒 | 15秒 |
|---|---|---|---|
| 864x480 | 15.5秒 | 37.3秒 | 69.2秒 |
| 1344x768 | 38.5秒 | 97.6秒 | 186.1秒 |
対応するのはFL2VAトランクのみです。テキスト、最初のフレーム、最後のフレーム、またはその両方を指定できます。Ref2VAアダプターは存在しないため、参照画像による条件付けは利用できません。
テスターの報告
- Kijaiは両方のアダプターをComfyUI用の標準的なH3 LoRAキーに変換し、最近の蒸留モデルの中では「今のところ最高の2ステップ版」と評しています。一方でDWDにはやや懐疑的で、INT8 Sol VAEを使った場合、5秒・768pのクリップでデコーダーを省略しても1秒未満しか短縮できず、DWDの出力はVAEでデコードしたフレームより見劣りしたと述べています。
- JohnDopamineは同じプロンプトとノイズでVAEとDWDを比較しました。DWDは2ステップでより持ちこたえ、VAEは4ステップ以上で優位でした。彼の結論は、一般用途なら通常のアダプターの2ステップで十分というものでした。
- boopは2ステップアダプターがVAE併用で問題なく見え、音声も期待以上だったと報告していますが、速い動きではまだ未検証です。
- DWD版に他のH3 LoRAを重ねると裏目に出ることがあります。ブロック46〜49もピクセルヘッド経由で学習しているため、それを前提としないアダプターとは競合する可能性があります(Kijai)。
VAEデコーダーなしでレンダリングした、14秒・2ステップ映像からの1フレーム。
水中のジャズクラブ、2ステップ、VAEデコーダーなし、1344x768、14秒。
入手する
- 重みとアダプター: Lakonik/pi-H3
- 速度の数値とギャラリーがあるプロジェクトページ: hanshengchen.com/blog/pi-h3
- ComfyUIワークフロー、ノード一覧、ファイルの配置: ComfyUI-piFlow ドキュメント
- インストールせずに試す: pi-H3 Space
- すぐ使えるComfyUI LoRA変換: Kijai/MiniMax-H3_comfy
コメント
GitHubでサインインしてディスカッションに参加しましょう。