h3.c: antirezによるApple Silicon向けネイティブMiniMax-H3推論エンジン

ComfyUI Wikinews

Redisの作者であるantirezが、Apple Silicon向けのネイティブなMetalベースMiniMax-H3推論エンジンh3.cを開発中。プロンプトからビデオ/オーディオ生成とRef2VA参照がエンドツーエンドで動作します。

antirez(Salvatore Sanfilippo、RedisとLuaの開発者)は、h3.cを開発中です。これはApple SiliconネイティブのMiniMax-H3推論エンジンです。コアパイプラインはすでにMac上でエンドツーエンドで動作しています。プロンプトからビデオ/オーディオ生成、最初/最後のフレーム条件付け、順序付きのRef2VA画像/ビデオ/オーディオ参照がすべて機能し、現在はM3 MaxとM5 MaxでのH3固有のMetalパフォーマンスとメモリ最適化に取り組んでいます。

MacハードウェアでのH3

ComfyUIでMiniMax-H3を実行するには、高VRAMのCUDAまたはAMD GPUが必要です。h3.cは異なるアプローチを取ります。Objective-CとMetalシェーダーを含む単一のCコードベースで、Metal経由でH3をAppleのGPU上で直接実行します。これにより、MシリーズのMacはディスクリートGPUやクラウドインスタンスなしで、H3のビデオとオーディオをローカルに生成できます。このプロジェクトは公開から数日で1,100以上のGitHubスターを獲得しました。

現在できること

  • プロンプトからビデオ/オーディオ生成: 公式のMiniMax-H3ウェイトを使用
  • 最初/最後のフレーム条件付け: インタラクティブセッション経由(!first!last)
  • 順序付きRef2VA参照: 複数の参照画像を順番に追加し、モデルに<Picture 1><Picture 2>などとして提示
  • インタラクティブなIrisスタイルCLI: 生成の間にプロンプトの条件付け、準備済みのDiT、ビデオデコーダをメモリに保持
  • ネイティブ256プレビュー生成と、メモリ制約のあるマシン向けのオリジナルBF16 SSDストリーミングDiTモード

はじめに

READMEには、エンジンのビルドと実行方法が記載されています。./MiniMax-H3にHugging FaceのMiniMax-H3スナップショットがある場合:

make -j8
mkdir -p outputs
./h3 --info -d ./MiniMax-H3
./h3 -d ./MiniMax-H3 --width 512 --height 512 --steps 6

-pを指定しない場合、バイナリはインタラクティブセッションを開始し、プロンプトを入力すると番号付きのビデオを生成します。便利なセッションコマンドには、!status!seed random!seconds 2!show!save output.mp4!first!last!ref-image!cacheなどがあります。

ステータス

このプロジェクトは活発に開発が進められており、毎日コミットが追加されています。READMEには、現在の作業はH3固有のMetalパフォーマンスとメモリ最適化を段階的に進めるものであると記載されています。そのため、Mシリーズハードウェアでは高速化とともに、粗削りな部分も見られることを想定してください。

リンク

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
h3.c: antirezによるApple Silicon向けネイティブMiniMax-H3推論エンジン | ComfyUI Wiki