MAGI-2 Preview:Sand.aiのオープンソース114B音声・動画モデル

ComfyUI Wikinews

Sand.aiがMAGI-2 Previewをオープンソース化。テキストまたは画像から同期音声付きの10秒動画を生成する114BパラメータのMoEモデルで、トークンあたりわずか6Bパラメータのみをアクティブ化します。

Sand.ai は8月5日、MAGI-2 Preview をリリースしました。これは、テキストプロンプト、またはプロンプトと静止画像から同期音声付きの10秒動画を生成する、オープンソースの114Bパラメータの MoE(mixture-of-experts)モデルです。重み、推論コード、および「Scaling Video Generation Models Efficiently」と題する技術報告はすべて公開されています。

MAGI-2 Previewの公式ビジュアル

Sand.aiの発表によるMAGI-2 Preview公式ビジュアル

MAGI-2 は、Sand.ai が2025年4月に公開した自己回帰動画モデル MAGI-1 の後継です。MAGI-1 は動画をどのように生成すべきかを研究しました。一方、MAGI-2 は動画生成モデルをどのようにスケールさせるかを問いかけます。このプレビューリリースは、そのアーキテクチャ、トレーニングシステム、データパイプラインが100Bレベルでともにスケールできることを検証しています。

動画・音声・テキストを1つのモデルで

MAGI-2 は単一ストリーム設計を維持しています。テキスト、動画、音声のトークンを1つの統合シーケンスに連結し、同じ Transformer バックボーンで処理します。モダリティが狭いクロスアテンション接続部でのみ相互作用するのではなく、言語、口の動き、身体の動き、サウンド、カメラのリズムがモデル全体を通じて情報を交換します。モデルはビジュアルとサウンドの両方を1回のパスで生成し、その後、音声トラックを出力動画ファイルに多重化します。

機能詳細
入力テキストプロンプト(T2V)、またはテキスト+静止画像(I2V)
出力同期音声付き10秒動画(サポートされる唯一の再生時間)
生成2段階:512×896のプレビュー段階、1088×1920へアップスケーリングするリファイナー段階
プロンプト長い構造化キャプション。リポジトリには LLM ベースのプロンプト拡張用のシステムプロンプトが同梱されています。

Sand.ai公式サイトのデモ動画

公式のデモバッチは、T2VとI2Vのエントリで同じプロンプトを実行し、次のような静止画像を画像入力として使用しています。

サンプル第1フレーム1サンプル第1フレーム2
公式デモバッチのサンプル静止画公式デモバッチのサンプル静止画

MagiMoE:114Bパラメータ、トークンあたり約6Bのみアクティブ

このアーキテクチャは、マルチヘッド潜在ルーティング方式と超細粒度エキスパートを組み合わせ、総容量をトークンあたりの計算量から分離します。各トークンの表現は256次元の12個の潜在ヘッドに分割され、各ヘッドは独自のルーターを持ち、256個の小規模エキスパートのプールからトップ6のエキスパートを選択します。したがって、各スパースレイヤーには3,072個のヘッドローカルなエキスパートユニットが含まれ、トークンあたり72個のみがアクティブ化されます。

コンポーネント構成
バックボーン40層の Transformer(36層のスパース層、4層の密な境界層)
モデル幅3,072
ルーティングされる表現12ヘッド × 256次元
エキスパートプールヘッドあたり256エキスパート、トップ6がアクティブ
エキスパート FFN256 → 1,280 → 256、融合 SwiGLU
MAGI-2のアーキテクチャ図

MAGI-2 Preview技術報告のアーキテクチャとシステムの概要

Head Parallel はデバイス間通信を規則的に保ちます。アクティベーションは静的に既知の形でヘッド次元に沿ってディスパッチされるため、バッファは事前に確保され、動的ルーティングは各ヘッドのオーナー内部に閉じ込められます。トレーニングシステムは、ヘッドアクティベーションの交換をノード間の InfiniBand に、エキスパート状態の再シャーディングをノード内の NVLink にマッピングし、カーネルとアテンションは姉妹プロジェクトの MagiCompiler と MagiAttention が担当します。データ面では、この報告はフィルタリング中心のキュレーションから、精密なマルチモーダルアノテーションを伴う高スループットなデータ生産への移行を説明しています。

利用可能性

推論は公式の Python パイプライン(提供される Docker イメージを使った torchrun)で実行され、8基の NVIDIA Hopper GPU が必要です。現時点で MAGI-2 用の ComfyUI カスタムノードはありません。チェックポイントセット全体は Hugging Face 上で約307 GBです。内訳は228 GBのプレビュー段階 Transformer、14 GBのリファイナー、Qwen3.5-27B テキストエンコーダー(56 GB)、Wan2.2 動画 VAE、Stable Audio Open 1.0 音声 VAE、そしてデフォルトで使用される蒸留 turbo VAE デコーダーです。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
MAGI-2 Preview:Sand.aiのオープンソース114B音声・動画モデル | ComfyUI Wiki