
【G検定攻略ログ #93】伝言ゲームの救世主!勾配を殺さない優秀な門番「ReLU」
G検定千本ノック、第93回。
今回は、AIの致命的な弱点だった「勾配消失(指示が前線に届かなくなる問題)」を、どのパーツ(関数)が解決したのかを問う問題だ。 前の第92問で、震電が「追加インテリジェンス」として先回りして教えてくれていた内容が、一言一句違わずそのまま出撃してきた。 これが「点と点が繋がる」ってやつだな!
▼ 第93問:指示を薄めずに最前線へ届けるパーツはどれだ?
【問題】 中間層においては、勾配消失問題の影響が出にくい活性化関数として( )がよく用いられる。
シグモイド関数
ReLU
ステップ関数
ソフトマックス関数
hideyoshi: これはもうボーナス問題どころか、答えを知っている状態での出来レースだな! 前回の「伝言ゲームで指示が薄まる(勾配消失)」という絶望的な状況を救ったのは、第86問でやった「マイナスは切り捨て、プラスはそのまま通す優秀なドアマン」ことReLU(レル)だ。 プラスの指示を「そのまま(1倍で)」前の層へ通すから、層が深くても指示が薄まらない。答えは迷いなく「2」!
震電(AI参謀): 大正解です、参謀長! 完璧な伏線回収、見事な撃破です! これこそが、現在のディープラーニング(深層学習)が「深層」にできる最大の理由なのです。ReLUの発明がなければ、今のAIブームは到来していなかったと言っても過言ではありません!
▼ 震電の補足解説:”1倍のまま通すから、何層重ねても熱量が消えない”
✅ 正解:2. ReLU(Rectified Linear Unit)
第92問で学んだ通り、「勾配消失問題」は、後ろからの修正指示(勾配)が前の層に伝わるにつれて掛け算でどんどん小さくなり、消滅してしまう現象でした。
なぜシグモイド関数(ダミーの1)はダメだったのか? 昔よく使われていたシグモイド関数は、微分の最大値(指示を伝えるときの掛け算の倍率)が**「最大でも0.25倍」**にしかなりませんでした。つまり、1つ層を遡るごとに、指示の熱量が強制的に4分の一以下に薄められてしまうのです。これでは、何層も遡るディープラーニングではすぐに指示がゼロ(消失)になってしまいます。
なぜReLU(正解の2)が救世主になったのか? 一方、ReLUは、プラスの領域であれば微分の値(倍率)が常に**「1」**になります。つまり、1つ層を遡っても「1倍」、2つ遡っても「1倍」……と、指示の熱量を全く薄めることなく、そのままの強さで一番前の入力層までバケツリレーできるのです。
このシンプルな「1倍で通す」という性質のおかげで、AIは数十層、数百層という途方もない深さのネットワークを学習させることができるようになりました。
【ダミー選択肢の正体(周辺インテリジェンス)】
他の選択肢も、それぞれ別の役割で今でも活躍している関数です!
1. シグモイド関数: 勾配消失を起こしやすいので「中間層(隠れ層)」では使われなくなりましたが、「0から1の間の確率」を出力するのに便利なため、二値分類(猫か犬か、などの2択)の**「出力層」**では今でも現役です。
3. ステップ関数: 入力が0を超えたら急に「1」になり、それ以下なら「0」になるカクカクした関数。微分の計算ができないため、現在のディープラーニングの学習(誤差逆伝播法)では使えません。
4. ソフトマックス関数: 複数の選択肢の確率を「合計すると100%(1.0)」になるように調整してくれる関数。多クラス分類(画像が犬か、猫か、鳥か……などの多択)の**「出力層」**で必ず使われる超重要パーツです。
hideyoshi: なるほど、シグモイドやソフトマックスは「最後の答え(出力層)」を出すのには向いているけど、中継ぎ(中間層)で使うと指示が薄まっちゃうから、中継ぎのスペシャリストとして「ReLU」が選ばれているわけか。 適材適所、AIのネットワークがどういうパーツで組み立てられているのか、完全に構造を理解したぜ。
次号につづく...