NVIDIA Cosmos3-Edge: 動画向け4Bオープンオムニモーダル世界モデル

NVIDIA Cosmos3-Edge は、オープンなオムニモーダル世界モデルを展開する Cosmos 3 ファミリーの最新メンバーです。4B Mixture-of-Transformers (MoT) モデルは、テキスト、画像、動画、アクション軌跡を入力として受け取り、一貫性のあるテキスト、画像、動画、アクション出力を生成します。Physical AI アプリケーション向けの世界シミュレーション、未来予測、アクション推論をカバーします。

Cosmos 3 とは

Cosmos 3 は、理解、生成、シミュレーション、アクションを単一のトランスフォーマーに統合します。自己回帰タワーが離散テキストトークンを処理し、拡散トランスフォーマー（diffusion transformer）が反復的なデノイジングによって画像、動画、音声、アクションを合成します。個別のテキストエンコーダーはなく、言語トークンと拡散トークンは共有の1つのトランスフォーマーを通過するため、モデルはチェックポイントから自身のアーキテクチャを読み取ります。

Cosmos3-Edge は、256p および 480p のテキスト入力と画像入力を、16:9、4:3、1:1、3:4、9:16 のアスペクト比でサポートします。アクション条件付けは、Franka Panda アーム、自動運転車両、ドローン、カメラ軌跡などのロボット形態に対応しています。以下の出力は、モデルカードに掲載されているアクション条件付き音声・動画生成の例です。

ComfyUI でのサポート

Cosmos3 は ComfyUI のコアには含まれていませんが、コミュニティノードパック ComfyUI-Cosmos3 が、標準搭載の Kサンプラー / カスタムサンプラー（高度）スタックを通じて、テキストから動画用および画像から動画用の Cosmos3-Edge を含む Cosmos3 ファミリー全体をサポートします。

1. ComfyUI-Cosmos3 を ComfyUI/custom_nodes/ にクローンし、requirements.txt をインストールします
2. チェックポイント（例: nvidia/Cosmos3-Edge）を ComfyUI/models/cosmos3/<name>/ にダウンロードします。ローダーは transformer/config.json からアーキテクチャを読み取るため、手動セットアップは不要です
3. uni_pc_bh2 フローマッチングスケジュールでサンプリングします。テキストタワーはプロンプトごとに一度プリフィルされ、その K/V がデノイジングステップ全体で再利用されます

このパックには、テキストから動画、画像から動画、音声と動画の同時生成、および4ステップ蒸留 Super チェックポイント用のサンプルワークフローが同梱されています。

Cosmos3-Edgeのテキストから動画ワークフローをダウンロード Cosmos3の画像から動画ワークフローをダウンロード

入手方法

重みは Hugging Face で公開されており、モデルコレクションは huggingface.co/collections/nvidia/cosmos3 にあります。公式の推論およびトレーニングコードは NVIDIA Cosmos リポジトリ と Cosmos Framework にあり、テクニカルレポートは Cosmos 3 リサーチページ に掲載されています。