AI Toolkit MiniMax H3 LoRA トレーニング：T2V と I2V ガイド

ComfyUI Wikinews

Ostris AI Toolkit で MiniMax H3 の LoRA をトレーニング：T2V と I2V に対応し、NVFP4 量子化と VAE 勾配チェックポイントでコンシューマー GPU でも実行できます。

Ostris AI Toolkit は 8 月 3 日、MiniMax H3 のテキストから動画へ、および画像から動画へのトレーニングのサポートを追加しました。これにより、コンシューマー向け GPU でオープンウェイトの H3 モデル用 LoRA をファインチューニングできます。

このサポートはコミット 8502a84（「Add support for MiniMax H3 T2V and I2V training」）で追加されました。新しい minimax_h3 拡張が、完全なトレーニングパイプラインとともに提供されます。packed-token transformer、動画/音声 VAE、テキストエンコーダー、NVFP4 量子化ユーティリティが含まれます。

含まれる内容

  • 両方の H3 チェックポイント（FL2VA と Ref2VA）に対する T2V および I2V の LoRA トレーニング
  • トレーニング中の VRAM を削減する NVFP4 量子化サポート（nvfp4_quant.py）
  • メモリ使用量を抑える VAE 勾配チェックポイント（コミット 602306d）
  • 音声と動画の同時処理：H3 パイプラインは動画とステレオ音声の latent をまとめてデノイズし、ツールキットはトレーニング中もそれを維持します
  • I2V のトレーニングペアに対応する、データパイプラインでの 画像サポート（コミット 88ac27f）
  • H3 のレイヤー構造に合わせて調整された 高速な量子化処理（コミット d3a3f70）

モデルサポート

MiniMax H3 は AI Toolkit のサポート対象モデルに MiniMaxAI/MiniMax-H3 として追加されました。H3 は MiniMax の Hailuo シリーズを支える 33.1B のオムニモーダル transformer で、8 月 3 日にネイティブの ComfyUI サポートとともにオープンソース化されました（オープンウェイトの記事を読む）。

はじめに

AI Toolkit はコンシューマー向けハードウェアで GUI または CLI として動作します。ostris/ai-toolkit リポジトリからインストールし、H3 ベースモデルを指定したトレーニング設定を作成します。minimax_h3 拡張は組み込みなので、別途インストールする必要はありません。

リンク

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
AI Toolkit MiniMax H3 LoRA トレーニング：T2V と I2V ガイド | ComfyUI Wiki