メインコンテンツへスキップ
見出し画像

最新AI Chinchillaの詳解

    はじめに――「大きすぎた」という、予算の間違いの発見

    2022年3月、Google DeepMindの研究者たちが、一見すると地味な論文を出しました。主役のモデル「Chinchilla」は、700億パラメータ。当時の最大級(2,800億や5,300億)より、ずっと小さい。ところが、同じ学習の計算量で作られたこの小さなモデルが、4倍大きい先行モデル「Gopher」を、広い範囲の試験で上回ったのです。

    論文の主張は、こうでした。それまでの大きなモデルは、みな「訓練不足」だった。計算の予算の配分が間違っていて、体を大きくしすぎ、勉強量が足りなかった、と。Chinchillaは、その配分の正し方を示したモデルです。本記事では、仕様、提供されなかった経緯と費用への影響、性能、そして「最適な配分」という考え方が、その後の全てのモデルの予算を変えた経緯を、確認できる事実をもとに詳しく整理します。

    この記事はnoteマネーにピックアップされました

    noteマネー 今週の特集「新体制のエヌビディア決算、AI株は持ち直す?」
     
     
    Salsultantのplatypus2000jpです。テック、自然科学(野鳥等)、文化資産の記事がメイン。 ◆DeepResearch:濃密な調査を100円でお得に。 ◆科学で節約:エビデンスに基づく賢いライフハックを。 本質を大切に、読み応えある記事を更新します。

    あなたへのおすすめ