FastH3 Omni: 音声同期した8ステップのH3参照動画

FastH3 Omni は FastVideo による MiniMax H3 の参照条件付きバリアントです。プロンプトに加えて順序付けられた画像・動画・音声の参照を、同期したサウンド付きの1本のクリップに変換します。生成はベース H3 の50回ではなく、8回の transformer 評価で行われます。Hao AI Lab のチームは10月20日に重みとリリース記事を公開し、同じコレクションに ComfyUI 対応の単一ファイル変換版も用意しました。

このモデルは最大 9枚の画像、3本の動画クリップ、3本の音声クリップ、合計12個の参照を受け付け、少なくとも1つの画像または動画が必要です。出力は 32 kHz ステレオ音声付きの動画で、24 FPS、フレーム長は 124、243、362 のいずれか、つまり5秒、10秒、15秒です。

発表動画の1フレーム。チームが FastVideo 上で FastH3 Omni を使って生成しました。

位置による参照

プロンプトはファイル名ではなく位置で入力に言及します。<Picture 1>、<Video 1>、<Audio 1> のように指定し、番号は種類ごとに1から振り直されます。参照動画に付属するサウンドトラックは、その動画ラベルの直前に音声参照としてラベル付けされ、単独の音声は最後に置かれます。参照はすべてのサンプリングステップを通じて保持されるため、チームは ComfyUI でサイズ指定の選択肢を用意しています。match は各参照を生成のピクセル面積まで縮小し、max は2048 px の短辺を維持して同一性の忠実度を保ちますが、コストは数倍になります。

1つの画像参照と1つの音声参照を使った5秒のリクエスト。セリフは音声参照の音色を使用し、音声は動画と同時に生成され、後から追加されたものではありません。

50回ではなく8回の評価

FastH3 Omni はベース H3 の蒸留された生徒モデルで、リリースではベース H3 のテキストエンコーダー、ビデオ VAE、オーディオ VAE をそのまま使用し、変更されるのは diffusion transformer のみです。サンプリングはガイダンス 1.0、動画シフト 12.0、音声シフト 3.0 で実行され、これは ComfyUI テンプレートが同梱する設定と同じです。

8台の GB200 GPU 上で27種類の同一条件のワークロードを比較したところ、チームは完全なサービング構成でベース H3 より エンドツーエンドレイテンシが5.6～11.9倍低いと報告しています。公開された表からの抜粋です。各値は3シードの平均です。

チームはまた、特定の FastH3 Omni タスクでは UniServe スタックが 768p で5秒、10秒、15秒のクリップをリアルタイム生成に到達すると述べています。公開されたクリップは条件を揃えた定性的比較であり、ベース H3 と出力が同等であることの証拠ではありません。

画像1枚・5秒のワークロードで、同じプロンプト、参照、シード、GPU 数を使用しています。

10秒の1回のリクエストに画像・動画・音声の参照を使用。ベース H3 で 172.37秒、FastH3 Omni で 19.75秒。

画像参照9枚、5秒のリクエスト。

ComfyUI で実行する

ComfyUI リポジトリには単一ファイル変換版が用意されているため、カスタムノードパッケージは不要です。diffusion モデル1つ、テキストエンコーダー1つ、ビデオ VAE、オーディオ VAE を配置します。

テンプレートは video_fasth3_ominiref_r2v で、10月20日に workflow_templates に追加されました。コアの MiniMax H3 リファレンスから動画へ 条件付けノードを使用し、最大9枚の画像、3本の動画、3本の単独音声、およびペアとなる動画サウンドトラック用の autogrow 入力を持ちます。デフォルトでは8ステップ、ガイダンス 1.0、MiniMaxH3SigmaShift を動画に12、音声に3、解像度 1344x768、124フレームで実行します。

FastH3 Omni 参照から動画へのワークフローをダウンロード

モデルカードには、ComfyUI が独自のモデルレイアウト、サンプラー、ランタイムカーネルを使用するため、結果が FastVideo や UniServe の出力と異なる場合があると記載されています。

ローカルおよびサーバープロファイル

• サーバー: UniServe 経由で GB200、B200、RTX PRO 6000 Blackwell、Hopper 上の BF16 checkpoint を使用し、参照条件付き構成を適用します。
• DGX Spark と RTX 5090: NVFP4 QAD ビルド。Blackwell 上の NVFP4 実行向けにトレーニングされており、FastVideo クックブックのデバイスレシピを使用します。
• RTX 4090: layerwise オフロード付きの FP8 ビルド。Ada には FP4 ハードウェアがないためです。
• デコーダー: オプションの NVFP4 VAE デコーダー。36層の高品質版と8層の高速版があります。

ComfyUI 向けには FP8 変換版 (23.1 GB) と NVFP4 QAD 変換版 (13.8 GB) も別リポジトリとして提供されます。チームによると、ローカル AI 向けの記事とリリースが10月21日に続きます。

FastH3 シリーズにおける位置づけ

ベース H3 は音声付き動画の生成に50回の transformer ステップを実行し、単一 GPU では1クリップあたり数分かかります。FastH3 V2 はそれを8ステップに蒸留し、Trim は50ブロックのうち8ブロックを削除して 8 GB カードでも動作するようにし、Omni は参照パスを追加しました。プロンプトに加えて画像、クリップ、音声を扱い、8ステップの予算は同じです。FastH3 Omni はプレビュー開始パートナーである Nuva Lab と Reactor とともにポストトレーニングされ、リリースでは NVIDIA FastGen チームへのクレジットが記載されています。