メインコンテンツへスキップ

結局「スタンフォード大学のCS336」ってなぁに?AI(ChatGPT)の“中身”をゼロから自分で作っちゃう伝説の授業を世界一わかりやすく解説!

    はじめに:「AIってすごーい!」の、その先へ

    ​みなさん、こんにちは!

    ​最近、「ChatGPT(チャットジーピーティー)」や色々なAIと会話したことはありますか?

    ​「恐竜の種類を教えて!」と聞くと、一瞬で詳しく教えてくれたり、

    「昔話を作って!」と頼むと、面白いお話を作ってくれたりしますよね。まるで、中に小さくて物知りなロボットが入っているみたいです。

    ​でも、ふとこんな疑問を持ったことはありませんか?

    ​「このAIって、いったいどうやって動いているんだろう?」

    「誰が、どうやってこの賢い頭脳(AI)を作ったんだろう?」

    ​世の中のほとんどの人は、AIを「使うだけ」です。

    スマホでアプリをピコピコ押すように、AIに質問して「すごいなー!」と感心して終わりです。

    ​でも、世界で一番頭の良い大学のひとつ、アメリカのスタンフォード大学には、こんな恐ろしい(そして最高にワクワクする)授業があります。

    ​それが、『CS336(シーエス・サンサンロク):Language Modeling from Scratch』です。

    ​この授業を一言でいうと、

    「AIをただ使うのはもう終わり!自分の手で、ゼロから本物のAI(ChatGPTみたいな仕組み)を作り上げよう!」

    という、超本格的なAI職人(エンジニア)を育てるための伝説のカリキュラムなんです。

    ​今回は、「CS336って結局何をしているの?」という疑問を、小学生でもハッキリわかるように、身近な例えを使いながら楽しく解説していきます!

    ​1. 料理でたたえる「使う人」と「シェフ(CS336)」の違い

    ​CS336の話に入る前に、ひとつ例え話をさせてください。

    ​ここに、とっても美味しいカレーライスを出す「レストラン」があるとします。

    ​・「AIを使うだけの人」= レストランのお客さん

    お店に行って「カレーください!」と注文し、出てきたカレーを美味しく食べる人です。とても楽ちんで楽しいですが、自分ではカレーを作れません。

    ​・「普通のAI開発者」= レストランでレトルトカレーを温める人

    市販されているレトルトカレーのルーを買ってきて、おうちで温めてご飯にかける人です。ちょっと料理っぽくなりましたが、ルーの味を変えたり、秘伝のスパイスを一から調合することはできません。

    ​・「CS336を学んだ人」= 世界一の天才カレーシェフ

    スパイスの種を育て、ルーを小麦粉から炒め、隠し味のりんごやハチミツの量を計算し、お肉の煮込み時間まで完璧にコントロールして、自分だけの究極のカレーを生み出せる人です!

    ​そう、CS336とは、「レトルト(既存のAIの仕組み)に頼らず、スパイス(コードと数学)をゼロから調合して、本物のAIを創り出すシェフになるための修行」なのです!

    ​2. そもそも、AI(LLM)はどうやって言葉を喋っているの?

    ​「ゼロから作る」と言っても、AIがどうやって動いているのかを知らないと作れませんよね。

    ​ChatGPTのようなAI(専門用語でLLM=大規模言語モデルと呼びます)は、実は「超ウルトラ言葉当てクイズの天才」なんです。

    ​例えば、私があなたにこんなクイズを出したとします。

    ​クイズ:「むかしむかし、あるところに、おじいさんと……」

    次に来る言葉は何でしょう?

    ​簡単ですよね!答えは「おばあさんが」です。

    ​じゃあ、もうひとつ。

    ​クイズ:「お腹が空いたから、美味しい(  )を食べた。」

    カッコに入る言葉は何でしょう?

    ​「ラーメン」「ごはん」「ハンバーグ」など色々入りますが、「机」や「消しゴム」は絶対に入りませんよね。

    ​AIの正体は、実はこれだけです!

    インターネット上にある世界中の本やニュース、ウェブサイトの文章を何兆文字も読み込んで、

    「この言葉の次には、どの言葉が来る確率が一番高いかな?」

    というクイズを、何兆回も何兆回も練習した「言葉予測マシン」なのです。

    ​3. CS336で勉強する「4つのすごい大作戦」!

    ​スタンフォード大学のCS336では、この「言葉予測マシン」を自分の手で完成させるために、4つの大きなステップ(大作戦)を順番にクリアしていきます。

    ​それぞれの作戦がどんなものか、探検してみましょう!

    ​大作戦1:日本語や英語を「数字のレゴブロック」にバラバラにする!(トークナイザー)

    ​AIは、人間が使う「ひらがな」や「漢字」「英語」をそのまま読むことができません。AIはコンピュータなので、「数字(0、1、2、3…)」しか理解できないからです。

    ​そこで、文章を数字の番号に変える作業が必要になります。これが「トークナイザー」です。

    ​言葉をそのままバラバラにすると、どうなるでしょう?

    ​「あ・い・う・え・お」と文字ごとにバラバラにすると、文章が長くなりすぎてAIの頭がパンクしてしまいます。

    逆に、「りんご」「学校」「プログラミング」と単語ごとに辞書を作ると、新しく出てきた言葉や略語(例えば「スマホ」とか「バズる」)に対応できなくなります。

    ​そこでCS336では、「BPE(バイト・ペア・エンコーディング)」という賢い技を学びます。

    ​これは、よく使われる言葉のペアをどんどんくっつけて、自分だけの「数字のレゴブロック(サブワード)」を作る技術です。

    ​・よく出る組み合わせ「り」+「ん」+「ご」➔「りんご」という1つのブロック(番号:102番)にする!

    ・滅多に出ない珍しい言葉 ➔ 細かいレゴブロックの組み合わせで表現する!

    ​こうすることで、どんなに珍しい言葉が来てもエラーにならず、AIが一番計算しやすい「数字のブロックの並び」に変換することができるようになります。CS336では、この変換プログラムを自分の手で1行ずつ書いて作ります。

    ​大作戦2:AIの「最強の脳みそ」の形を組み立てる!(アーキテクチャ)

    ​数字のブロックができたら、次はそれを処理する「AIの脳みそ(仕組み)」を組み立てます。

    ​現代のAIの脳みそは、「トランスフォーマー(Transformer)」という特別な形をしています。

    ​トランスフォーマーの何がすごいかというと、「アテンション(注目)」という能力を持っていることです。

    ​例えば、次の文章を読んでみてください。

    ​「太郎くんは、大きなリンゴを買った。そして、それを洗って食べた。」

    ​文章の中に出てくる「それ」って、何を指していますか?

    人間ならすぐに「リンゴ!」とわかりますよね。

    ​アテンション(注目)の機能があると、AIも文章を読むときに「『それ』は『リンゴ』と強くつながっているな!」と、遠く離れた言葉同士のつながりをビビッと見抜くことができるのです。

    ​CS336の授業では、2017年に作られた古いトランスフォーマーではなく、今の最新AI(LLaMA 3など)で使われている最高品質のパーツを組み合わせて脳みそを作ります。

    ​・RMSNorm(アールエムエス・ノーム): 脳みその計算が暴走しないように、数字の大きさを綺麗に整えるガードマン。

    ・RoPE(ロープ): 言葉の「順番(1番目、2番目…)」を、ぐるぐる回る回転の角度を使ってスマートに記憶させる技。

    ・GQA(ジーキューエー): 脳みそのメモ帳を上手に整理整頓して、省エネで素早く答えを出せるようにする技術。

    ・SwiGLU(スウィグルー): 複雑な問題もひらめくことができる、賢いスイッチ。

    ​これらの難しい名前のパーツを、プログラミング言語(PyTorch)を使って自分でパズルのように組み立てていきます。

    ​大作戦3:超巨大なパソコンを爆発させずに働かせる!(GPUとメモリ管理)

    ​脳みその形ができたら、いよいよ世界中の文章を読み込ませてAIを賢くする「学習(トレーニング)」のスタートです!

    ​……と言いたいところですが、ここに巨大な壁が立ち塞がります。

    ​AIに学習させるデータの量は、部屋中に本を何億冊も積み上げるくらい巨大です。

    ふつうのパソコンで学習させようとすると、一瞬でパンクして画面が固まってしまいます。

    ​AIの学習には「GPU(ジーピーユー)」という超パワーを持った画像処理用パーツを使いますが、それでもメモリ(VRAMという記憶の作業台)がすぐにいっぱいになって、「CUDA out of memory(メモリが足りないよ!)」という怒りのエラーが出ちゃいます。

    ​そこでCS336では、「パソコンを絶対にパンクさせないプロのインフラ技術」を学びます。

    ​・半分のお部屋で計算する技(混合精度学習 / BF16)

    数字の細かさを少しだけシンプルにして、計算スピードを2倍、メモリを半分にする!

    ​・宿題を途中で忘れて、必要になったらもう一度計算する技(グラディエント・チェックポインティング)

    全部の計算結果をメモ帳に書いておくとノートが溢れるから、大事なところだけメモして、あとは必要なときに超スピードで計算し直す!

    ​・何十台ものパソコンで力を合わせる技(分散学習 / テンソル並列)

    1台のパソコンじゃ入らないなら、AIの脳みそをバッサリ切って、8台や16台のGPUに「君は右脳担当!君は左脳担当!」と役割分担させて、チームワーク(高速通信)で動かす!

    ​この「パソコンの限界に挑む技術」を知ることで、どんなに大きなAIでも安全に学習させることができるようになります。

    ​大作戦4:AIに「優しい心とマナー」を教える!(アライメント)

    ​大作戦3まで終わると、AIは世界中の文章を丸暗記して「言葉あてクイズの天才」になります。

    ​しかし!この時点のAIは、まだまだ「礼儀作法を知らない暴走オタク」のような状態です。

    ​試しに「泥棒のやり方を教えて」と聞くと、悪気なくインターネットで見た泥棒の手順をペラペラ喋ってしまったり、「こんにちは」と言ったら「こんにちはこんにちはこんにちは…」と永遠に同じ言葉を繰り返したりしてしまいます。

    ​そこで、最後の仕上げとして「アライメント(親切で安全なマナー教育)」を行います。

    ​マナー教育には2つのステップがあります。

    ​ステップ1:SFT(教師あり微調整)

    「質問されたら、丁寧に答えるんだよ」という良い会話の『お手本』をたくさん見せて、挨拶や質問への答え方を教え込みます。

    ​ステップ2:DPO(ダイレクト・プレファレンス・オプティマイゼーション)

    AIに2つの回答を作らせて、「こっちの答え(優しくて正確な答え)は100点!」「こっちの答え(乱暴で嘘の答え)は0点!」という風に、人間の好み(選好)を教えてあげます。

    ​CS336では、昔使われていたすごく複雑な強化学習(RLHF)ではなく、最近発明された「DPO(ディープーオー)」という、とっても数学的に美しくてシンプルな方法を使って、AIに「優しい心とマナー」を教えるコードを書きます。

    ​4. なぜ、わざわざ「ゼロから手作り」するの?

    ​ここまで読んで、「うわぁ、AIをゼロから作るのって、めちゃくちゃ大変そう…」と思いましたよね?

    ​今や、OpenAIにお金を少し払えば、誰でも簡単に最高性能のChatGPTを使える時代です。

    それなのに、なぜスタンフォード大学の学生や世界のトップエンジニアたちは、こんなに大変な思いをして「ゼロから手作り」するのでしょうか?

    ​理由は、とてもシンプルです。

    ​「中身を全部知っている人だけが、世界を変える新しいAIを作れるから」です。

    ​想像してみてください。

    ​市販のミニカーを買ってきて遊ぶのも楽しいですが、自分でエンジンを作り、タイヤの摩擦を計算し、車体をデザインできる車のエンジニアになったら、世界で一番速いスーパーカーだって自分で作れますよね。

    ​・「なぜかAIの返答が遅いな?」と思ったとき、中身を知っていれば「あ!アテンションのメモ帳(KVキャッシュ)が重いんだな!」とすぐに修理できます。

    ・「もっと日本語が上手なAIを作りたいな」と思ったとき、トークナイザーから作り直して世界最高の日本語AIを生み出せます。

    ・「ロボットや医療専用の、誰も見たことがないAIを作りたい!」と思ったとき、脳みその形を自由に改造できます。

    ​つまり、CS336を学ぶということは、「AIに使われる側」から「世界中のAIのルールを決める創造主(クリエイター)になる」ということなのです!

    ​5. まとめ:さあ、あなたもAIの冒険に出かけよう!

    ​「スタンフォードCS336」が何をやっている授業なのか、見えてきましたか?

    ​最後にもう一度、4つの大作戦をおさらいしてみましょう!

    ​トークナイザー: 言葉を数字の「レゴブロック」に細かく分解する!

    ​アーキテクチャ: 「アテンション(注目)」を使って、最新のAIの脳みそを組み立てる!

    ​GPUとメモリ: パソコンが爆発しないように、チームワークと工夫で超巨大計算をこなす!

    ​アライメント(DPO): 暴走するAIに「優しさとマナー」を教えて、最高のAIアシスタントにする!

    ​この4つの魔法をすべてマスターするカリキュラム、それがスタンフォード大学の「CS336」です。

    ​プログラミングや数学と聞くと「難しそう…」と思ってしまうかもしれませんが、その本質は「AIという最高のパズルをゼロから組み立てるワクワクする冒険」そのものです。

    ​もしあなたが、「AIって面白いな!」「自分でもAIの裏側を作ってみたいな!」と少しでも思ったら、それはもう最高のAIエンジニアへの第一歩を踏み出しています。

    ​「APIを呼ぶだけ」の日常を飛び出して、自分でAIを創り出す素晴らしい世界へ、あなたも一歩踏み出してみませんか?

    ​(おわりに:この記事を読んでくれた大人・エンジニアのみなさんへ)

    ​もしあなたが「自分もCS336のカリキュラムに挑戦してみたい!」「PythonやPyTorchで実際にコードを書いてみたい!」と思ったら、ぜひスマホやノートPCから体験できる「CS336 AIトレーナー」などの学習環境をチェックしてみてください。

    ​ソクラテスのように優しく対話しながら、あなたの手でLLMをゼロから組み上げる感動を、ぜひ味わってみてくださいね!

    ​🚀 実際に手を動かして学んでみよう!

    ​今回解説したスタンフォードCS336のカリキュラムを、ソクラテス式の対話形式で学べるWEBアプリを公開しています。

    ​AIメンターからの問いかけに答えながら、自分のペースでLLMの実装トレーニングに取り組めます。

    ​👉 [CS336 AIトレーナーを体験してみる]

    ​※ 記事が参考になりましたら、ぜひ「スキ(♡)」や「SNSでのシェア」をしていただけると嬉しいです!

     
     
    WebアプリやAIプロダクトを開発・運用する独立系ソフトウェアエンジニア。Next.js/TypeScript/Pythonを活用した開発ノウハウ、AIアライメント、個人開発のマネタイズ実践知を発信しています。

    あなたへのおすすめ