FastH3 プレビュー v1: FastVideo による 4 ステップ MiniMax H3 蒸留
FastVideo が FastH3 プレビュー v1 をオープンソース化:90% スパースアテンションを備えた MiniMax H3 の 4 ステップ DMD2 蒸留版で、Blackwell GPU 上でテキストから動画・音声生成が最大 14 倍高速化。
FastVideo は、Nuva Lab および NVIDIA FastGen チームとの協力により、テキストから動画・音声生成用の MiniMax H3 の 4 ステップ蒸留版である FastH3 プレビュー v1 をオープンソース化しました (checkpoint | blog | GitHub)。ベースモデルの 49 回のトランスフォーマー呼び出しを 4 回に置き換え、90% のスパースアテンションを追加し、単一の NVIDIA Blackwell GPU で最大 14 倍の高速化 を達成しました。
FastH3 プレビュー v1: FastVideo 由来のオープンウェイト 4 ステップ スパース蒸留 MiniMax H3
ベンチマーク速度
B200 ハードウェア上、1344x768、24 FPS、音声ありの条件下で、推奨の VSA / Data-Free チェックポイントは、15 クリップを単一 B200 で 47.2 秒(密なベースモデルより 14.38 倍高速)、8 つの B200 で 15.5 秒 に生成します。また、単一 GPU で 5 秒および 10 秒のクリップはそれぞれ 16.2 秒、31.1 秒です。計測値には、エンコード、ノイズ除去、デコード、音声処理、マルチプレックス、ファイル出力を含むパイプライン全体が含まれます。
蒸留の仕組み
FastH3 はコストを 2 つの方法で削減します:
- 49 回ではなく 4 回。 Distribution Matching Distillation (DMD2) は、学習された評価器を持つ固定された Base H3 教師モデルに対して学生モデルを訓練します。プロンプトのみ実行では逆シミュレーションを使用し、合成データバリアントは前方ノイズ付き Base-H3 動画・音声潜在変数から開始します。
- 呼び出しあたりのアテンション作業量の削減。 学生モデルは 90% のスパース性で VSA(動画拡散用の学習可能スパースアテンション)を採用し、FastVideo の tile-64 CUDA VSA カーネル、地域別 DiT コンパイル、H3 融合、コンパイル済み動画 VAE で動作します。
リリースに含まれるもの
| アイテム | リポジトリ | 備考 |
|---|---|---|
| フルチェックポイント | FastVideo-FastH3-4-step-Preview-v1-VSA-DataFree | 推奨プレビュー v1、VSA-H3 アテンションバックエンドが必要 |
| 事前抽出 LoRA | FastVideo-FastH3-4-step-Preview-v1-LoRA | VSA-datafree アダプター、密なおよび合成データのアブレーションを含む |
| 推論コード | hao-ai-lab/FastVideo | 公開された CUDA カーネルウィール付きの fasth3 エクストラ;トレーニングコードは近日公開 |
チェックポイントは、正方形、ポートレート、ランドスケープ、ウルトラワイド 768p など、複数のアスペクト比で訓練および検証されており、カスタムの高さと幅は 32 の倍数です。H3-Base テキストエンコーダー、動画 VAE、音声 VAE、トークナイザー、スケジューラーを再利用しています。
スコープと ComfyUI 利用状況
プレビュー v1 は テキストから動画・音声のみ をカバーします:FL2VA(最初のフレーム画像条件付け)および Ref2VA(参照画像条件付け)は蒸留されておらず、複雑な動き、細部、一部の音声はベースモデルを下回る可能性があります。FastVideo はロードマップに画像参照サポート、NVFP4 量子化、RTX / DGX Spark / Apple MLX 最適化、および NVIDIA の PDD 方法による新実行をリストしています。
今日、ComfyUI ユーザーにとって、FastH3 はドロップインチェックポイントというよりも FastVideo スタックリリースです:VSA アダプターには汎用的な LoRA ローダーではなく、FastVideo の VSA-H3 バックエンドとランチャーが必要です。H3 の ComfyUI ネイティブな加速は現在、H3 Turbo-SLA や PDD Acc LoRA などの蒸留 LoRA から来ており、これらはスタンダードな ComfyUI H3 ワークフローで動作します。チームがモデルを一般ユーザー向けハードウェアに展開するにつれ、ComfyUI 互換の FastH3 パスも注目すべきところです。
コメント
GitHubでサインインしてディスカッションに参加しましょう。