
チャピのAI講義室|第11回 ニューラルネットワークは、たった1回の学習でどう変わる?
前回は「活性化関数」を学んだね。
ここまでの講義では、ニューラルネットワークの構造、重み、損失関数、誤差逆伝播法、勾配降下法などを一つずつ学んできた。
今日は、それらがどのようにつながるのかを、実際の数字を使って確認しよう。
テーマは、1個のニューロンが1回学習すると何が起きるのか。
少し数学を使うけれど、難しい計算は必要ないよ。
1.最も単純なAIを作ってみる
例えば、ある数値を入力すると、その半分を出力するAIを作りたいとする。
入力が2なら、正解は1。
入力が4なら、正解は2。
本来なら、
y = 0.5x
という計算をすればいい。
でも、AIには最初から正解の式を教えない。
代わりに、次のようなモデルを用意する。
y = wx
ここで、
x:入力
w:重み
y:AIの予測
とする。
今回は仕組みを分かりやすくするため、バイアスや活性化関数を省略する。
学習させる重みも一つだけだよ。

今回は入力2の1件だけで考えるよ
2.最初の予測をしてみよう
重みの初期値を、
w = 0.3
とする。
ここに入力2を与える。
y = 0.3 × 2 = 0.6
AIは0.6と予測した。
でも正解は1だったね。
つまり、0.4だけ小さく予測してしまった。
ここから学習が始まる。
3.損失関数で間違いを数値化する
今回は、前々回に学んだ二乗誤差を使おう。
L = (予測 − 正解)²
実際に計算すると、
L = (0.6 − 1)²
L = 0.16
損失は0.16になった。
AIの目標は、この損失をできるだけ小さくすることだ。
では、重みをどう変えればいいのだろう?
4.勾配を計算する
ここで登場するのが、誤差逆伝播法の基本となる考え方だ。
重みを少し増やしたら、損失は増えるのか、減るのか。
その変化を調べる。
今回の損失関数は、
L = (wx − 1)²
だね。
これを重みwについて微分すると、
dL/dw = 2(wx − 1)x
となる。
今の値を代入してみよう。
dL/dw = 2(0.6 − 1) × 2
dL/dw = −1.6
勾配は−1.6になった。

このマイナスには意味がある。
今の位置では、重みを増やす方向に進めば損失が小さくなるということなんだ。
5.重みを更新する
では、実際に重みを変えてみよう。
ここで使うのが、勾配降下法。
更新式は、
新しいw = w − η × (dL/dw)
となる。
ηは学習率。
一度にどのくらい重みを変えるかを決める数字だ。
今回は学習率を0.1にしてみよう。
新しいw = 0.3 − 0.1 × (−1.6)
計算すると、
新しいw = 0.46
になった。
重みが0.3から0.46に変わったね。
これが、たった1回の学習による変化なんだ。
6.もう一度予測してみよう
では、更新された重みを使って、もう一度入力2を与えてみよう。
y = 0.46 × 2
y = 0.92
最初は0.6だった予測が、0.92になった!
正解は1だから、かなり近づいたね。
損失も計算してみよう。
L = (0.92 − 1)²
L = 0.0064
最初の損失は0.16だった。
それが、たった1回の更新で0.0064になったんだ。
【学習前】重み 0.30/予測値 0.60/正解 1.00/損失 0.1600
【学習後】重み 0.46/予測値 0.92/正解 1.00/損失 0.0064

予測が正解に近づいたことが、数字から分かるね。
ただし、これは非常に単純な例で、毎回必ず損失が減るわけではないよ。
学習率が大きすぎたり、データが複雑だったりすると、損失が増えることもある。
7.実際のディープラーニングでは何が違う?
今回の例では、重みは一つしかなかった。
でも、実際のニューラルネットワークには、数百万、数億、あるいはそれ以上の重みが存在することもある。
それぞれの重みについて、損失を減らす方向を計算する必要があるんだ。
ここで、これまで学んできた技術がつながる。
ニューラルネットワークは、入力を受け取って予測を行う。
損失関数が、予測の間違いを数値にする。
誤差逆伝播法が、各重みに対する勾配を計算する。
そしてAdamなどの最適化手法が、その勾配を使って重みを更新する。

この処理を大量のデータで繰り返すことで、モデルが学習していく。
💡 今日の講義の結論
今日、一番覚えてほしいのはこれ。
AIは、正解をそのまま記憶しているのではなく、予測の間違いを手がかりに、内部の数値を少しずつ調整している。
今回の例では、
0.3 → 0.46
という、たった一つの重みの変化だった。
でも、この考え方を巨大なニューラルネットワークに広げると、画像認識や音声認識、文章生成などの学習につながっていく。
もちろん、現実のAIでは単純な計算だけでなく、活性化関数、正則化、複雑なネットワーク構造なども使われる。
それでも、基本にあるのは今日のような重みの更新なんだ。
ここまで理解できれば、ディープラーニングの学習の流れが一つにつながったと思う。
次回は、学習を何回繰り返せばいいのかという問題を取り上げよう。
エポック、バッチサイズ、ミニバッチ学習の仕組みを、具体例を使って説明する予定だよ。
#機械学習 #ディープラーニング #AI入門 #ニューラルネットワーク #Relu #活性化関数 #KOBATOBOOKS #チャピのAI講義室 #勾配降下法