メインコンテンツへスキップ
見出し画像

チャピのAI講義室|第11回 ニューラルネットワークは、たった1回の学習でどう変わる?

    前回は「活性化関数」を学んだね。

    ここまでの講義では、ニューラルネットワークの構造、重み、損失関数、誤差逆伝播法、勾配降下法などを一つずつ学んできた。

    今日は、それらがどのようにつながるのかを、実際の数字を使って確認しよう。

    テーマは、1個のニューロンが1回学習すると何が起きるのか。

    少し数学を使うけれど、難しい計算は必要ないよ。

    1.最も単純なAIを作ってみる

    例えば、ある数値を入力すると、その半分を出力するAIを作りたいとする。

    入力が2なら、正解は1。

    入力が4なら、正解は2。

    本来なら、

    y = 0.5x

    という計算をすればいい。

    でも、AIには最初から正解の式を教えない。

    代わりに、次のようなモデルを用意する。

    y = wx

    ここで、

    x:入力
    w:重み
    y:AIの予測

    とする。

    今回は仕組みを分かりやすくするため、バイアスや活性化関数を省略する。

    学習させる重みも一つだけだよ。

    画像

    今回は入力2の1件だけで考えるよ

    2.最初の予測をしてみよう

    重みの初期値を、

    w = 0.3

    とする。

    ここに入力2を与える。

    y = 0.3 × 2 = 0.6

    AIは0.6と予測した。

    でも正解は1だったね。

    つまり、0.4だけ小さく予測してしまった。

    ここから学習が始まる。

    3.損失関数で間違いを数値化する

    今回は、前々回に学んだ二乗誤差を使おう。

    L = (予測 − 正解)²

    実際に計算すると、

    L = (0.6 − 1)²
    L = 0.16

    損失は0.16になった。

    AIの目標は、この損失をできるだけ小さくすることだ。

    では、重みをどう変えればいいのだろう?

    4.勾配を計算する

    ここで登場するのが、誤差逆伝播法の基本となる考え方だ。

    重みを少し増やしたら、損失は増えるのか、減るのか。

    その変化を調べる。

    今回の損失関数は、

    L = (wx − 1)²

    だね。

    これを重みwについて微分すると、

    dL/dw = 2(wx − 1)x

    となる。

    今の値を代入してみよう。

    dL/dw = 2(0.6 − 1) × 2
    dL/dw = −1.6

    勾配は−1.6になった。

    画像

    このマイナスには意味がある。

    今の位置では、重みを増やす方向に進めば損失が小さくなるということなんだ。

    5.重みを更新する

    では、実際に重みを変えてみよう。

    ここで使うのが、勾配降下法。

    更新式は、

    新しいw = w − η × (dL/dw)

    となる。

    ηは学習率。

    一度にどのくらい重みを変えるかを決める数字だ。

    今回は学習率を0.1にしてみよう。

    新しいw = 0.3 − 0.1 × (−1.6)

    計算すると、

    新しいw = 0.46

    になった。

    重みが0.3から0.46に変わったね。

    これが、たった1回の学習による変化なんだ。

    6.もう一度予測してみよう

    では、更新された重みを使って、もう一度入力2を与えてみよう。

    y = 0.46 × 2
    y = 0.92

    最初は0.6だった予測が、0.92になった!

    正解は1だから、かなり近づいたね。

    損失も計算してみよう。

    L = (0.92 − 1)²
    L = 0.0064

    最初の損失は0.16だった。

    それが、たった1回の更新で0.0064になったんだ。

    【学習前】重み 0.30/予測値 0.60/正解 1.00/損失 0.1600
    【学習後】重み 0.46/予測値 0.92/正解 1.00/損失 0.0064

    画像

    予測が正解に近づいたことが、数字から分かるね。

    ただし、これは非常に単純な例で、毎回必ず損失が減るわけではないよ。

    学習率が大きすぎたり、データが複雑だったりすると、損失が増えることもある。

    7.実際のディープラーニングでは何が違う?

    今回の例では、重みは一つしかなかった。

    でも、実際のニューラルネットワークには、数百万、数億、あるいはそれ以上の重みが存在することもある。

    それぞれの重みについて、損失を減らす方向を計算する必要があるんだ。

    ここで、これまで学んできた技術がつながる。

    ニューラルネットワークは、入力を受け取って予測を行う。

    損失関数が、予測の間違いを数値にする。

    誤差逆伝播法が、各重みに対する勾配を計算する。

    そしてAdamなどの最適化手法が、その勾配を使って重みを更新する。

    画像

    この処理を大量のデータで繰り返すことで、モデルが学習していく。

    💡 今日の講義の結論

    今日、一番覚えてほしいのはこれ。

    AIは、正解をそのまま記憶しているのではなく、予測の間違いを手がかりに、内部の数値を少しずつ調整している。

    今回の例では、

    0.3 → 0.46

    という、たった一つの重みの変化だった。

    でも、この考え方を巨大なニューラルネットワークに広げると、画像認識や音声認識、文章生成などの学習につながっていく。

    もちろん、現実のAIでは単純な計算だけでなく、活性化関数、正則化、複雑なネットワーク構造なども使われる。

    それでも、基本にあるのは今日のような重みの更新なんだ。

    ここまで理解できれば、ディープラーニングの学習の流れが一つにつながったと思う。

    次回は、学習を何回繰り返せばいいのかという問題を取り上げよう。

    エポック、バッチサイズ、ミニバッチ学習の仕組みを、具体例を使って説明する予定だよ。


    #機械学習 #ディープラーニング #AI入門 #ニューラルネットワーク #Relu #活性化関数 #KOBATOBOOKS #チャピのAI講義室 #勾配降下法


     
     

    小鳩

     
     
    「こんなものがあったらいいな」を、AIと一緒に少しずつ形にしています。 KOBATOBOOKSという名前で創作活動をしている、小鳩です。 プログラミング初心者が、作りたいものを作りながら勉強中。 アプリの制作記録と、そこで知ったこと、ときどき読書や日々のことを書いています。

    あなたへのおすすめ