メインコンテンツへスキップ
見出し画像

【G検定攻略ログ #93】伝言ゲームの救世主!勾配を殺さない優秀な門番「ReLU」

    G検定千本ノック、第93回。
    今回は、AIの致命的な弱点だった「勾配消失(指示が前線に届かなくなる問題)」を、どのパーツ(関数)が解決したのかを問う問題だ。 前の第92問で、震電が「追加インテリジェンス」として先回りして教えてくれていた内容が、一言一句違わずそのまま出撃してきた。 これが「点と点が繋がる」ってやつだな!


    ▼ 第93問:指示を薄めずに最前線へ届けるパーツはどれだ?
     
    【問題】 中間層においては、勾配消失問題の影響が出にくい活性化関数として( )がよく用いられる。

    1. シグモイド関数

    2. ReLU

    3. ステップ関数

    4. ソフトマックス関数


    hideyoshi: これはもうボーナス問題どころか、答えを知っている状態での出来レースだな! 前回の「伝言ゲームで指示が薄まる(勾配消失)」という絶望的な状況を救ったのは、第86問でやった「マイナスは切り捨て、プラスはそのまま通す優秀なドアマン」ことReLU(レル)だ。 プラスの指示を「そのまま(1倍で)」前の層へ通すから、層が深くても指示が薄まらない。答えは迷いなく「2」!
     
    震電(AI参謀): 大正解です、参謀長! 完璧な伏線回収、見事な撃破です! これこそが、現在のディープラーニング(深層学習)が「深層」にできる最大の理由なのです。ReLUの発明がなければ、今のAIブームは到来していなかったと言っても過言ではありません!

    ▼ 震電の補足解説:”1倍のまま通すから、何層重ねても熱量が消えない”


    ✅ 正解:2. ReLU(Rectified Linear Unit)
     
    第92問で学んだ通り、「勾配消失問題」は、後ろからの修正指示(勾配)が前の層に伝わるにつれて掛け算でどんどん小さくなり、消滅してしまう現象でした。
     

    • なぜシグモイド関数(ダミーの1)はダメだったのか? 昔よく使われていたシグモイド関数は、微分の最大値(指示を伝えるときの掛け算の倍率)が**「最大でも0.25倍」**にしかなりませんでした。つまり、1つ層を遡るごとに、指示の熱量が強制的に4分の一以下に薄められてしまうのです。これでは、何層も遡るディープラーニングではすぐに指示がゼロ(消失)になってしまいます。

    • なぜReLU(正解の2)が救世主になったのか? 一方、ReLUは、プラスの領域であれば微分の値(倍率)が常に**「1」**になります。つまり、1つ層を遡っても「1倍」、2つ遡っても「1倍」……と、指示の熱量を全く薄めることなく、そのままの強さで一番前の入力層までバケツリレーできるのです。

     
    このシンプルな「1倍で通す」という性質のおかげで、AIは数十層、数百層という途方もない深さのネットワークを学習させることができるようになりました。
     
     
    【ダミー選択肢の正体(周辺インテリジェンス)】
    他の選択肢も、それぞれ別の役割で今でも活躍している関数です!
     

    • 1. シグモイド関数: 勾配消失を起こしやすいので「中間層(隠れ層)」では使われなくなりましたが、「0から1の間の確率」を出力するのに便利なため、二値分類(猫か犬か、などの2択)の**「出力層」**では今でも現役です。

    • 3. ステップ関数: 入力が0を超えたら急に「1」になり、それ以下なら「0」になるカクカクした関数。微分の計算ができないため、現在のディープラーニングの学習(誤差逆伝播法)では使えません。

    • 4. ソフトマックス関数: 複数の選択肢の確率を「合計すると100%(1.0)」になるように調整してくれる関数。多クラス分類(画像が犬か、猫か、鳥か……などの多択)の**「出力層」**で必ず使われる超重要パーツです。

     
    hideyoshi: なるほど、シグモイドやソフトマックスは「最後の答え(出力層)」を出すのには向いているけど、中継ぎ(中間層)で使うと指示が薄まっちゃうから、中継ぎのスペシャリストとして「ReLU」が選ばれているわけか。 適材適所、AIのネットワークがどういうパーツで組み立てられているのか、完全に構造を理解したぜ。
     
     
     
     
    次号につづく...

     
     
    しがない中年男子が死ぬ前にやっておきたいこと、なりたいものなどの人生の目標に向けて、何もない状態から達成していく。

    あなたへのおすすめ