メインコンテンツへスキップ
見出し画像

DeepSeek オープンソースウィークのサマリ(2025/2/24-2/28)

    ポイント

    • DeepSeekは5日間の「オープンソースウィーク」を開催し、FlashMLA、DeepEP、DeepGEMM、並列最適化戦略、3FSファイルシステムなどを公開

    • DeepSeekはAGIのオープンソース化を推進し、AI研究者や開発者へ貴重なツールを提供 ・NVIDIAの株価が決算発表後に下落し、AI市場の変化が影響

    • NVIDIAの売上成長率が鈍化し、主要顧客が独自チップ開発を進める動きが影響

    • DeepSeek-R1などの低コストAIモデルがNVIDIAの高価格チップへの依存を低下させる

    • OpenAIのGPT-4.5が発表されるも、高価格ゆえに酷評される

    • GPT-4.5の価格は前世代比30倍に上昇し、一部の性能は従来モデルより劣る

    • ユーザーの間で「無料のDeepSeekがあるのに高額なモデルは不要」との声が広がる

    本文

    AI企業DeepSeekによる5日間の「オープンソースウィーク」が終了した。 今週月曜日から金曜日まで、DeepSeekは毎日不定時にコードリポジトリを公開し、FlashMLA、DeepEP通信ライブラリ、DeepGEMM、並列最適化戦略、並列ファイルシステム3FSなどを対象とした。 DeepSeekは、汎用人工知能(AGI)は「高尚な象牙の塔」に存在するのではなく、ガレージ創業の精神を持ち、コミュニティと共にイノベーションの力を構築すると考えている。 5日間のコード公開は、DeepSeekが大規模モデルの学習、推論、通信、ファイルシステムの最適化における技術革新とブレークスルーを示すものであった。これらのオープンソースプロジェクトは、AIモデルの性能と効率を向上させるだけでなく、AI分野の研究者や開発者に貴重なリソースとツールを提供する。 モデルのオープンソース化からコードのオープンソース化へと進み、DeepSeekは単独で大規模モデルの世界を再構築してきた。

    01 NVIDIA、失墜

    画像

    AI大規模モデル隆盛の恩恵を最も受けた企業であるNVIDIAが、今週最新の決算報告を発表した。しかし株価は数日間下落を続け、130ドル以上から120ドルまで下落した。 NVIDIAの2025会計年度第4四半期の売上高は前年同期比78%増と、5四半期連続の3桁成長から著しく減速し、前年比成長率は過去2年間で最低水準となった。2024会計年度第4四半期には265%のピークに達していた。 アナリストはNVIDIAの売上高成長率鈍化の原因として、マイクロソフトやメタなど主要顧客がNVIDIAへの依存を減らすために独自チップ開発を進めていること、DeepSeek-R1の低コストAIモデルが計算能力の需要を低下させ、市場のNVIDIAハイエンドチップへの依存を弱めていることなどを指摘している。 当日、NVIDIAの株価は8.5%急落し、時価総額は2740億ドル減少した。 1ヶ月前、DeepSeekが発表した低コスト・高性能なオープンソース推論モデルR1が市場に衝撃を与え、NVIDIAの株価は一時17%近く暴落した。 NVIDIAのCEOジェンスン・フアン氏は、DeepSeekのオープンソースツールと低コストモデルが業界に衝撃を与えたことを認めつつも、NVIDIAはソフトウェアとハードウェアの協調最適化を通じてAIチップ分野でのリーディングポジションを依然として維持していると強調した。 しかし、投資家はNVIDIAの業績成長鈍化、粗利率の低下、中国のAI企業DeepSeekの影響に対する懸念を払拭できなかった。 変化したのは同業者も同様である。

    02 OpenAIの最新大規模モデルGPT-4.5は高すぎると酷評される

    クローズドソース大規模モデルNo.1のOpenAIは、金曜日に最新かつ最も強力なモデルGPT-4.5を発表した。もちろん、最も高価なモデルでもある。 GPT-4.5はOpenAI史上最大のパラメータ規模を持つモデルであり、計算量は前世代の10倍である。GPT-4.5のAPI価格は100万トークンあたり75ドルと、前世代GPT-4oの2.5ドルと比較して30倍に上昇した。 GPT-4.5は推論に特化したモデルではなく、GPT-4oを完全に代替することはできない。ベンチマークテストでは、一部能力はo1、o3-miniよりも劣る。 ネットユーザーから「死ぬほど高い」と酷評されたこの大規模モデルは、OpenAIの過去のフラッグシップ大規模モデル発表時のような称賛や熱狂的な議論を巻き起こすことはなかった。 現在、多くの人がDeepSeekを引き合いに出して、「無料で使いやすいDeepSeekのオープンソースがあるのに、なぜ高額なモデルを使う必要があるのか」と皮肉を述べている。

    03 DeepSeekコードオープンソースウィークの内容

    2月24日:Flash MLAオープンソース化
    DeepSeekは、NVIDIA Hopper GPU向けに最適化された高効率MLA(Multi-head Latent Attention、多頭潜在アテンション)デコーディングカーネルであるFlash MLAをオープンソース化した。 主要な特徴:可変長シーケンス向けに最適化されており、Hopper GPU、CUDA 12.3以降、PyTorch 2.0以降を基準とする。H800 SXM5プラットフォームでは、メモリ制限構成下で最大3000GB/s、計算制限構成下でピーク値580 TFLOPSに達する。 技術的なハイライト:FlashMLAの設計は、FlashAttention 2&3およびCUTLASSの技術的実装を参考に、KV圧縮と潜在変数、低ランク次元削減技術、動的シーケンス処理などの最適化を通じて、大規模モデルの学習および推論プロセスにおけるメモリ使用量を大幅に削減した。

    2月25日:DeepEP通信ライブラリオープンソース化
    DeepSeekは、MoE(混合エキスパート)モデルのトレーニングと推論に使用されるEP(Expert Parallelism、エキスパート並列処理)通信ライブラリであるDeepEPをオープンソース化した。
    コア機能:すべてのGPUカーネルに高スループットと低遅延を提供し、低精度演算(FP8を含む)をサポートする。NVLinkからRDMAへの非対称帯域幅転送シナリオ向けに深く最適化されており、高スループットを提供し、SM数制御をサポートする。
    技術的なハイライト:遅延の影響を受けやすい推論デコードに関して、DeepEPは遅延を最小限に抑えるために、低遅延カーネルとピュアRDMAのセットを含む。同時に、フックベースの通信計算オーバーラップ手法を導入し、SMリソースを一切消費しない。

    2月26日:DeepGEMMコードベースをオープンソース化
    DeepSeekは、簡潔かつ効率的なFP8汎用行列乗算(GEMM)専用に設計されたDeepGEMMコードベースをオープンソース化した。 コア機能:通常のGEMM演算と、エキスパート混合(MoE)グループ化されたGEMM演算の両方をサポートし、V3/R1のトレーニングと推論に動力サポートを提供する。CUDAを使用して記述されており、コンパイルは不要で、軽量なJIT(Just-In-Time)コンパイルモジュールを介してすべてのカーネルをランタイム時にコンパイルする。 技術的なハイライト:DeepGEMMは設計が簡潔で、コード量は約300行であるが、性能はさまざまな行列形状において、専門的に調整されたライブラリに匹敵するか、または凌駕する。H800でテストしたところ、計算性能は最大1358 TFLOPS、メモリ帯域幅は最大2668 GB/秒に達した。

    2月27日:並列最適化戦略をオープンソース化
    DeepSeekは、DualPipe、EPLB、Profile-dataを含む3つの並列最適化戦略をオープンソース化した。 nDualPipe:V3/R1モデルのトレーニングにおいて、計算と通信のオーバーラップを実現するための双方向パイプライン並列アルゴリズムの一種であり、パイプラインの気泡(アイドル時間)を大幅に削減する。
    nEPLB:V3/R1向けのエキスパート並列負荷分散ツールであり、推定されたエキスパート負荷に基づいて、バランスの取れたエキスパートの複製と配置計画を計算する。
    nProfile-data:DeepSeekインフラストラクチャにおけるデータ分析であり、トレーニングおよび推論フレームワークからの性能プロファイリングデータを含み、コミュニティが通信と計算のオーバーラップ戦略、および関連する基盤となる実装の詳細をより深く理解することを目的とする。

    2月28日:3FSファイルシステムをオープンソース化
    DeepSeekは、高性能並列ファイルシステムであるFire-Flyerファイルシステム(3FS)をオープンソース化した。
    コア機能:AIトレーニングおよび推論ワークロードの課題に対応し、最新のSSDおよびRDMAネットワークを活用して共有ストレージ層を提供し、分散アプリケーションの開発を簡素化する。180のストレージノードで構成される大規模なテストクラスタ上で、総読み取りスループットは約6.6 TiB/秒に達した。
    技術的なハイライト:3FSの主な機能と利点には、性能と可用性、強力な一貫性、ファイルインターフェース開発、多様なワークロード(データ準備、データローダー、チェックポイント、推論用のKVCacheなど)が含まれる。

    元記事

    参考:DeepSeekが公開したオープンソースについての簡単解説

    2月24日: Flash MLA オープンソース

    • 何?: Flash MLAは、AIが大量のデータを素早く処理するためのプログラムです。特に、NVIDIAの「Hopper GPU」というすごい計算装置で動きます。

    • 何がすごいの?: 例えば、長い文章や短い文章が混ざったデータを扱うとき、普通なら時間がかかりますが、これを使うとサクサク処理できます。スピードは、メモリが少ないときでも毎秒3000ギガバイト、計算がたくさん必要なときだと毎秒580兆回も計算できます!

    • 簡単に言うと: AIがデータを整理する「頭の良さ」をパワーアップして、メモリを節約しながら超速で動くようにするツールです。

    2月25日: DeepEP通信ライブラリオープンソース

    • 何?: DeepEPは、AIの中で「専門家チーム」が協力して働くときに、データを素早くやり取りするためのプログラムです。この「専門家チーム」は、MoE(ミクスチャー・オブ・エキスパーツ)というAIの仕組みです。

    • 何がすごいの?: たくさんの計算装置(GPU)がデータをやり取りするスピードが速く、遅れがほとんどありません。たとえば、AIがリアルタイムで答えを出すような場面でも、ちゃんと動きます。

    • 簡単に言うと: AIの「専門家チーム」が遠くにいても、電話みたいにすぐ会話できるようにする道具です。

    2月26日: DeepGEMMコードベースオープンソース

    • 何?: DeepGEMMは、AIが使う「表の計算」(行列の掛け算)を超速でやるプログラムです。

    • 何がすごいの?: たった300行くらいの短いプログラムなのに、めっちゃ速いです。H800という環境だと、毎秒1358兆回の計算と、毎秒2668ギガバイトのデータ処理ができます。しかも、少し粗い計算(FP8)でも正確に動きます。

    • 簡単に言うと: AIが大きな表を計算するとき、電卓みたいに速く正確にやってくれるツールです。

    2月27日: 並列最適化戦略オープンソース

    • 何?: この日は3つの技術が公開されました。全部、AIが複数の仕事を同時に効率よく進めるための方法です。

      1. DualPipe: AIが計算とデータ送りを一緒にやって、待ち時間を減らします。

      2. EPLB: 「専門家チーム」をどの計算装置に置くか、バランスよく決めてくれる道具です。

      3. プロファイルデータ: DeepSeekが集めたデータを公開して、他の人がシステムを良くするヒントに使えます。

    • 簡単に言うと: AIが忙しくても混乱しないように、仕事をうまく分担するコツを教えてくれるものです。

    2月28日: 3FSファイルシステムオープンソース

    • 何?: 3FS(ファイア・フライヤー・ファイルシステム)は、AIが使う大量のデータを素早く保存したり取り出したりする保管庫みたいなものです。

    • 何がすごいの?: 180台のサーバーでテストしたら、毎秒約6.6テビバイト(めっちゃ大量!)のデータが読み取れました。しかも、複数の計算装置が同時に使っても大丈夫です。

    • 簡単に言うと: AIが使うデータを、超速で出し入れできる大きな倉庫みたいなものです。

    まとめ

    DeepSeekが公開した5つの技術は、AIを「もっと速く」「もっと賢く」するための道具です。たとえば、データを整理するスピードを上げたり、AI同士の会話をスムーズにしたり、計算を効率よくしたり、データを素早く取り出したりできます。これらは無料で使えるので、AIを作る人たちがもっとすごいものを作れるようになります。簡単に言うと、AIの仕事をラクにして、パワーアップさせる素敵なプレゼントということです!

    あなたへのおすすめ