
最新AI Chinchillaの詳解
はじめに――「大きすぎた」という、予算の間違いの発見
2022年3月、Google DeepMindの研究者たちが、一見すると地味な論文を出しました。主役のモデル「Chinchilla」は、700億パラメータ。当時の最大級(2,800億や5,300億)より、ずっと小さい。ところが、同じ学習の計算量で作られたこの小さなモデルが、4倍大きい先行モデル「Gopher」を、広い範囲の試験で上回ったのです。
論文の主張は、こうでした。それまでの大きなモデルは、みな「訓練不足」だった。計算の予算の配分が間違っていて、体を大きくしすぎ、勉強量が足りなかった、と。Chinchillaは、その配分の正し方を示したモデルです。本記事では、仕様、提供されなかった経緯と費用への影響、性能、そして「最適な配分」という考え方が、その後の全てのモデルの予算を変えた経緯を、確認できる事実をもとに詳しく整理します。