フィジカル AI
NVIDIA Cosmos
フィジカル AI 向けの世界モデルをより迅速に構築、特化、展開するための、最先端のオープン プラットフォーム。
モデルをダウンロード | 動画 | ブログ
世界基盤モデル
Cosmos 3 を基盤に構築
ネイティブな推論、世界シミュレーション、行動生成を備えた、フィジカル AI 向けの最先端オムニモデル ファミリです。Mixture-of-Transformers を基盤に、リーダーボードの最上位に並ぶ精度を実現します。
推論と分析
ビジョン言語モデル (VLM) として活用し、複雑な現実世界のシナリオにおける物体、相互作用、意図を推論します。
品質検査、公共安全、交通監視、物流、自動運転の各分野において、リアルタイムのアラートと詳細なキャプション生成を提供します。
特化型モデルの構築
Cosmos 3 を世界アクションモデル (WAM) のバックボーンとして活用することで、ロボットのポリシー学習を高速化できます。
専用カメラと身体性データで、汎用世界基盤モデルを事後学習します。ポリシーモデルは、特定のタスク、ドメイン、動作に対し、事前学習済みのアクションを大規模に適応させます。
世界をシミュレート
制御可能で物理法則に基づく世界シミュレーターとして動作し、単一視点または複数視点の世界の状態を予測します。閉ループで結果を評価し、適切な動作へ収束させます。
環境、タスク、条件をまたいでループを拡張し、現実世界のリスクを伴わずに継続的に改善します。
合成ビデオデータのスケーリング
テキスト、画像、ビデオ、環境音、アクション入力から、あり得そうな様々な未来を無限に生成します。
物理的にキャプチャされたものに縛られることなく、ビデオ生成を想像力として活用してフィジカル AI をトレーニングできます。
導入時の選択肢
独自の世界モデルを構築
最先端の世界モデルをより迅速に構築するための、オープン データ、学習フレームワーク、最適化された展開。
-
データ
-
構築と展開
ユース ケース
Cosmos が業界全体で AI を加速させる方法
-
自動運転車両のトレーニング
-
ロボット学習
-
映像解析 AI エージェント
自動運転車両のトレーニング
カスタムで多様な高精度センサーデータを生成し、自動運転車の安全なトレーニング、テスト、検証を実現します。
- 新たな気象、照明、地理位置データで既存データの多様性を拡大します。
- 事後学習により、マルチセンサービューへと拡張します。
- Cosmos を基盤に構築されたエージェントのスキルを活用し、エンドツーエンドの合成データの拡張および評価パイプラインを構築する
ロボット学習
既知および未知の両方の条件下で、身体性エージェントが実環境で動作できるようにするロボット学習ポリシーを構築します。
- 身体性固有のタスク、環境、カメラまたはセンサーのレイアウト、およびポリシーについて Cosmos 3 をポストトレーニングします。
- 物理的に正確なクローズドループ シミュレーションを実行します。
- Cosmos を基盤に構築されたエージェントのスキルを活用し、エンドツーエンドの合成データの拡張および評価パイプラインを構築する
映像解析 AI エージェント
産業環境および都市環境全体における自動化、安全性、運用効率を向上させます。
Cosmos を活用することで、AI エージェントは、リアルタイムまたは録画されたビデオ ストリームを分析、要約、および操作して、以下のことを行えるようになります。
- リアルタイムのコンテキストに基づいたアラートを提供
- 動画と対話し、ライブカメラのフィードや大規模な動画ライブラリからインサイトを抽出しましょう。
- NVIDIA Metropolis Blueprint で動画検索と要約向けの動画分析 AI エージェントを構築しましょう
- 合成トレーニングデータを生成して、理解の精度をさらに向上させる
パフォーマンス
NVIDIA AI で最高のパフォーマンスを発揮
Cosmos 3 は、NVIDIA ハードウェア上で最高のパフォーマンスを実現するように最適化されています。 NVIDIA RTX PRO 6000 Blackwell シリーズ サーバーは、ロボット、自動運転車、AI エージェント分野でのフィジカル AI 開発における トレーニング、合成データ生成、シミュレーション、推論を高速化します。
NVIDIA Blackwell GB200 ならば、産業分野でのポスト トレーニングおよび推論ワークロードでの Cosmos 世界基盤モデルの能力を最大限に引き出せます。
エコシステム
フィジカル AI のイノベーションをリードする企業が採用
ロボティクス、自動運転車、ビジョン AI 業界のモデル開発者は、Cosmos を使用して物理 AI 開発を高速化しています。
次のステップ
よくある質問
NVIDIA Cosmos は、世界モデルを構築するためのオープン プラットフォームです。開発ライフサイクル全体にわたり、最先端の世界基盤モデル、オープン データセット、学習と最適化のフレームワーク、データ処理と生成のブループリントを提供します。
Cosmos 3 は、Mixture of Transformers アーキテクチャに基づいています。 推論モジュールとジェネレーターモジュールは、効率的な生成とパフォーマンスを実現するために異なるトランスフォーマーを使用しています。 したがって、モデルはまず推論してから生成するため、あらゆる機能において優れた物理精度を実現しています。アーキテクチャの詳細については、こちらをご覧ください。
Cosmos 世界基盤モデルは、NVIDIA Open Model License の下で誰でも利用できます。
Cosmos 3 は、GitHub で各モーダリティとモジュールの事後学習スクリプトとともに一般に公開されています。 さらに、NVIDIA TAO 7 は、コーディング エージェントや自然言語プロンプトを使用して、Cosmos 3 を含むビジョン AI モデルをファインチューニングするための一連のエージェント スキルとツールを提供します。 GitHub で TAO 7 エージェント スキルとツールをダウンロードしてください。
Cosmos を活用して、お好みの基礎モデルやモデル アーキテクチャを使用してゼロから構築できます。 ビデオ データの前処理に Cosmos Curator を活用することで始めましょう。次に、Cosmos Tokenizer を使用してデータを圧縮およびデコードします。 データの処理が完了したら、モデルのトレーニングまたはファインチューニングを行うことができます。
NVIDIA NIM™ マイクロサービスを使用することで、クラウド、データ センター、ワークステーションにある貴社のアプリケーションにフィジカル AI モデルを簡単に統合できます。
また、NVIDIA DGX Cloud を使用して AI モデルをトレーニングし、どこにでも大規模にデプロイできます。
Cosmos 3 は、テキスト、画像、ビデオ、サウンド、アクションにわたって生成できる Omni モデルです。 Cosmos 2.5 と Cosmos 2 では、知覚と生成が別々のモデルとして維持されており、モダリティはテキスト、画像、動画に限定されていました。
Omniverse は、さまざまな生成 API、SDK、NVIDIA RTX レンダリング テクノロジを使用して、実世界のタスクのリアルな 3D シミュレーションを作成します。
開発者は、Omniverse シミュレーションを Cosmos Transfer モデルに指示映像として入力し、制御可能な写真のようにリアルな合成データを生成できます。
Omniverse はトレーニング前後のシミュレーション環境を提供し、Cosmos は動画データを生成し、フィジカル AI モデルをトレーニングするための基盤モデルを提供します。
NVIDIA Omniverse の詳細については、こちらをご覧ください。
