メインコンテンツへスキップ
見出し画像

G検定の活性化関数と勾配消失:シグモイド・tanh・ReLUと誤差逆伝播

    ▶ 前回の記事はこちら:第3回「G検定の機械学習手法:k-NNとk-means、バギングとブースティングの見分け方」

    G検定の体験記を読んでいると、ディープラーニングの基礎の部分で手が止まった人が少なくありません。2026年第1回の試験に合格した mymaicoburi さんは、勉強のしかたを説明する中で「わからなかったテーマ(例:活性化関数の違い、強化学習の手法の違いなど)は、」と、活性化関数を真っ先に挙げています。2025年第4回に合格した chanchaka24 さんも「誤差逆伝播法とか、バッチ正規化とか、イメージがつきにくい用語については」と書いていました。単純パーセプトロンと XOR の話は文章だけでは理解できず、図にして覚えたという合格者もいます(宇佐美帆立)。

    用語の名前は覚えたのに、なぜその関数を使うのかがつながっていない。つまずきの原因の1つは、ここにありそうです。

    この連載は、G検定によく出て受験者がつまずきやすいテーマを1回に1つずつ深掘りする「頻出テーマ」連載です。以前の連載では勉強時間や時間配分など全体の戦い方を扱いましたが、今回は中身そのものを解きます。第4回のテーマは 活性化関数と勾配消失 です。

    私たちは資格の問題集アプリ「ナレッジバンドル」を作っています。活性化関数の違いが分からないという声は、1つずつ名前を覚えても、ほかの選択肢がなぜ違うのかが言えないと解消しにくいものです。G検定の500問すべての解説に、正解の理由だけでなく各選択肢の正誤を書き、解説の中の用語をタップすると専用の用語辞書が開くようにしているのは、このつながりをたどれるようにするためです。

    ▶ アプリ「ナレッジバンドル」はこちら


    シラバスでの位置

    Gシラバス2024(第1.4版)では、技術分野の「ディープラーニングの概要」に次の中項目があります。今回はこのうち4つを扱います。

    • 11. ニューラルネットワークとディープラーニング: 単純パーセプトロン、多層パーセプトロン、隠れ層・入力層・出力層 など

    • 12. 活性化関数: Leaky ReLU 関数、ReLU 関数、tanh 関数、シグモイド関数、ソフトマックス関数、勾配消失問題

    • 13. 誤差関数: 交差エントロピー、平均二乗誤差関数 など

    • 15. 誤差逆伝播法: 勾配消失問題、勾配爆発問題、信用割当問題、連鎖律

    中項目12の学習目標には「代表的な活性化関数の定義・使い分け・注意点について、それぞれ説明できる」とあります(JDLA シラバス第1.4版)。名前を当てるだけでなく、使い分けと注意点 まで問われる前提で準備しておくのが安全です。なお、計算問題について体験記では「難しい計算問題(交差エントロピーや活性化関数など)が出ることはなく」という声もあります(chamo)。この記事の数値例は、仕組みを理解して選択肢を見分けるための道具として使ってください。


    なぜ層を重ねるのか:単純パーセプトロンと XOR

    単純パーセプトロンは、入力に重みを掛けて足し合わせ、その値がしきい値を超えれば1、超えなければ0を出す仕組みです。入力が2つなら、平面に 直線を1本引いて 2つのグループに分けることに当たります。

    AND(両方1のときだけ1)や OR(どちらかが1なら1)は、直線1本で分けられます。ところが XOR(2つの入力が違うときだけ1)は、1と0が対角に並ぶので、どう直線を引いても分けられません。

    画像

    線形のモデルでは XOR を表現できないという点は、Goodfellow らの教科書『Deep Learning』6.1節で例題として扱われています(Deep Learning 6章)。同書では、線形モデルで XOR を当てはめると、どの入力にも 0.5 を出すだけになることを示したうえで、2つのユニットを持つ隠れ層を1つ加えると解けることを示しています。

    ここで大事なのは、隠れ層を足すだけでは足りず、隠れ層に非線形の活性化関数が必要 なことです。活性化関数が恒等関数(何もしない)だと、何層重ねても全体は1つの線形変換にまとまってしまい、直線1本と同じことしかできません。活性化関数の役割は、ネットワークに「曲がる力」を与えることだと覚えておきましょう。


    主な活性化関数の形と微分

    活性化関数そのものの形と、その 微分(傾き) をセットで見るのがこのテーマのコツです。学習では微分の値が使われるので、試験で問われる「注意点」も、ほとんどが微分の性質から説明できます。

    画像
    • ステップ関数: 0か1を出す。微分は x=0 以外どこでも0なので、勾配を使った学習には向きません

    • シグモイド関数: σ(x) = 1 ÷ (1 + e^(−x))。出力は0〜1。微分は σ(x) × (1 − σ(x)) で、最大は x=0 のときの 0.25

    • tanh 関数: 出力は −1〜1。微分は 1 − tanh²(x) で、最大は x=0 のときの 1

    • ReLU 関数: max(0, x)。微分は x>0 で1、x<0 で0。Nair と Hinton の論文(ICML 2010)で使われました(論文PDF)

    • Leaky ReLU 関数: x<0 のとき a × x を出す。Maas らの論文(ICML 2013)では a = 0.01 で、PyTorch の既定値も 0.01 です(PyTorch)

    • GELU: x × Φ(x)(Φ は標準正規分布の累積分布関数)。2016年に arXiv で発表されました(Hendrycks & Gimpel)。ReLU の角を丸めたような形です

    • ソフトマックス関数: exp(xᵢ) ÷ Σexp(xⱼ)。複数の値をまとめて変換し、出力の合計が1 になります。多クラス分類の出力層で使います

    ひとつ注意があります。シグモイド関数のグラフで目立つ「x=0 で 0.5」は 出力の値 で、微分の値ではありません。微分の最大値は 0.25 です。図のシグモイドの欄で、0.5 の点(実線の上)と 0.25 の点(破線の上)を見比べておきましょう。

    ReLU は、シグモイドや tanh と違って x>0 の側で値が頭打ちになりません。AlexNet の論文(NIPS 2012)は ReLU を "non-saturating"(飽和しない)と呼び、tanh より数倍速く学習できたと報告しています。


    勾配消失と勾配爆発は「掛け算」で起きる

    誤差逆伝播法と連鎖律

    ニューラルネットワークの学習では、出力と正解のずれ(誤差)を小さくするように重みを少しずつ動かします。どの重みをどちらにどれだけ動かすかを決めるのが 誤差逆伝播法 です。Rumelhart・Hinton・Williams が1986年に Nature で発表しました(Nature 323, 533–536)。

    仕組みの中心は 連鎖律(合成関数の微分)です。y = f(g(x)) なら、dy/dx = f′(g(x)) × g′(x)。層が何段も重なっていれば、出力側から入力側へ、各層の微分を 順に掛け算しながら 誤差を戻していきます。「逆伝播」という名前は、この戻り方から来ています。

    シラバスのキーワードにある 信用割当問題 も、ここにつながります。もとは Minsky が、最終的な成功や失敗に対して途中の数多くの判断それぞれにどう手柄を割り振るか、という問題として論じたものです(Minsky "Steps Toward Artificial Intelligence")。ニューラルネットワークでいえば、出力の誤差を隠れ層の各重みにどう割り振るかで、誤差逆伝播法はそれを連鎖律で計算しています。

    0.25 を10回掛けると

    掛け算で戻すということは、途中に小さな値があると、それが何度も掛かることを意味します。シグモイド関数の微分は最大でも 0.25 なので、活性化関数の部分だけを見ても、層を重ねるたびに勾配は小さくなります。

    画像
    • 1層: 0.25

    • 3層: 0.25 × 0.25 × 0.25 = 0.015625

    • 5層: 約 0.00098

    • 10層: 約 0.00000095(100万分の1以下)

    これは「最大でも」の値で、実際にはさらに小さくなることもあります。入力に近い層ほど勾配がほとんど届かず、重みが動かなくなる。これが 勾配消失問題 です。逆に、掛ける値が1より大きい状態が続くと、勾配が層ごとにふくらんで学習が不安定になります。これが 勾配爆発問題 です(図の右の列は、仮に毎層2倍になったときの例です)。

    tanh の微分は最大1、ReLU の微分は x>0 で1なので、この掛け算で勾配が削られにくくなります。深いネットワークの隠れ層で ReLU 系がよく使われる理由は、ここにあります。ただし ReLU も x<0 では微分が0になり、その部分では勾配が流れません。これを緩めたのが Leaky ReLU です。

    なお、RNN(回帰結合のネットワーク)では、時間方向に同じ掛け算が続くので、長い系列で勾配が消えやすいことが1994年に論じられています(Bengio ほか)。その対策として1997年に提案されたのが LSTM です(Hochreiter & Schmidhuber)。この話は第7回でくわしく扱います。

    画像

    重みの初期化と、出力層の組み合わせ

    Xavier はシグモイド・tanh、He は ReLU

    勾配消失は、重みの最初の値(初期値)の決め方でも大きく変わります。Glorot と Bengio は2010年の論文(AISTATS 2010)で、ランダムに初期化した深いネットワークではシグモイド関数が上の層を飽和させやすく不向きだと報告し、新しい初期化の方法を提案しました(PMLR v9)。これが Xavier(Glorot)の初期化 で、シグモイドや tanh と相性がよい方法です。

    その後、He らが2015年に ReLU 向けの初期化を提案しました(arXiv:1502.01852)。これが He(Kaiming)の初期化 です。ReLU は負の側を0にするので、その分だけ重みの分散を大きめ(2 ÷ 入力の数)に取ります(PyTorch torch.nn.init)。同じ論文で、負の側の傾きを学習で決める PReLU も提案されています。

    「Xavier」と「Glorot」は同じ人(Xavier Glorot)の名前と姓なので、選択肢に両方があっても別の手法だと思わないようにしましょう。

    出力層の関数と誤差関数はセットで決まる

    隠れ層の活性化関数とは別に、出力層 の関数はタスクで決まり、誤差関数もそれに合わせて選びます。『Deep Learning』6.2.2節は、線形(恒等)の出力と平均二乗誤差、シグモイドの出力と2値の分類、ソフトマックスの出力と多クラスの分類を対応させて説明しています。

    画像
    • 回帰(数値を当てる): 出力層は恒等関数、誤差関数は平均二乗誤差

    • 2値分類: 出力層はシグモイド関数、誤差関数は交差エントロピー

    • 多クラス分類: 出力層はソフトマックス関数、誤差関数は交差エントロピー

    交差エントロピーの計算そのものは第1回で扱いました。正解のクラスに付けた確率が低いほど損失が急に大きくなる、という性質だけ思い出せれば十分です。


    取り違えやすいペア

    • シグモイドの微分の最大値は 0.25、tanh は 1。「tanh も 0.25」は誤り。「シグモイドの微分の最大は 0.5」も誤りで、0.5 は x=0 での出力の値

    • ReLU でも勾配が0になる領域がある(x<0)。「ReLU は勾配消失が絶対に起きない」と言い切る選択肢には注意。負の側に傾きを持たせたのが Leaky ReLU・PReLU

    • Xavier はシグモイド・tanh 向け、He は ReLU 向け。Xavier と Glorot は同じもの

    • ソフトマックスは多クラス分類の出力層、シグモイドは2値分類の出力層にも使う。隠れ層で勾配消失の話をしているときのシグモイドと、出力層のシグモイドを区別する

    • 勾配消失と勾配爆発: どちらも連鎖律の掛け算が原因。1より小さい値が続けば消失、1より大きい値が続けば爆発

    • 単純パーセプトロンは XOR を解けない、多層パーセプトロンは解ける。決め手は隠れ層と非線形の活性化関数


    確認問題

    この記事のために作った問題で、本番の問題の再現ではありません。

    問1

    隠れ層が5層あり、どの層の活性化関数もシグモイド関数のネットワークがある。誤差逆伝播で勾配を入力側へ戻すとき、活性化関数の微分の部分だけを5回掛けた値の最大はどれか。重みの影響は考えないものとする。

    1. 0.5 の5乗(約 0.031)

    2. 0.25 の5乗(約 0.00098)

    3. 1

    4. 1.25

    問2

    活性化関数と初期化についての説明として、不適切なもの はどれか。

    1. ReLU 関数は x<0 で微分が0になるため、その領域では勾配が流れない

    2. He の初期化は、ReLU を使う層に向けて提案された

    3. tanh 関数の微分の最大値は 0.25 で、シグモイド関数と同じである

    4. ソフトマックス関数は出力の合計が1になり、多クラス分類の出力層に使われる

    問3

    画像を10種類のどれかに分類するニューラルネットワークを作る。出力層の関数と誤差関数の組み合わせとして、最も適切なものはどれか。

    1. シグモイド関数と平均二乗誤差

    2. ソフトマックス関数と交差エントロピー

    3. 恒等関数と交差エントロピー

    4. ReLU 関数と平均二乗誤差

    答えと解説

    問1の答え: 2。シグモイド関数の微分の最大値は 0.25(x=0 のとき)です。5層分を掛けると 0.25 の5乗 = 約 0.00098 で、1000分の1程度まで小さくなります。選択肢1は「x=0 での出力 0.5」を微分と取り違えたときの答え、選択肢3は tanh や ReLU(x>0)の場合の値です。

    問2の答え: 3。tanh 関数の微分の最大値は1で、シグモイド関数の 0.25 の4倍です。選択肢1は正しく、これを緩めたのが Leaky ReLU です。選択肢2も正しく、シグモイドや tanh 向けの Xavier の初期化と対にして覚えます。選択肢4も正しい説明です。

    問3の答え: 2。多クラス分類では、出力層をソフトマックス関数にして各クラスの確率として読み、誤差関数には交差エントロピーを使います。恒等関数と平均二乗誤差は回帰の組み合わせ、シグモイド関数は2値分類の出力層で使います。ReLU は主に隠れ層で使う関数です。


    まとめ

    • 単純パーセプトロンは直線1本しか引けず、XOR を解けない。隠れ層と非線形の活性化関数 で解けるようになる

    • 微分の最大値は シグモイド 0.25、tanh 1。σ(0)=0.5 は出力の値

    • 誤差逆伝播法は 連鎖律 で各層の微分を掛け算して戻す。小さい値が続けば 勾配消失、大きい値が続けば 勾配爆発

    • ReLU は x>0 で微分1なので勾配が削られにくいが、x<0 では0。それを緩めたのが Leaky ReLU

    • 初期化は Xavier = シグモイド・tanh、He = ReLU

    • 出力層と誤差関数は 回帰 = 恒等+平均二乗誤差、2値分類 = シグモイド+交差エントロピー、多クラス = ソフトマックス+交差エントロピー

    次回のG2026#6はオンライン試験が11月6日(金)・7日(土)、申込は10月29日(木)23:59までです(JDLA)。

    第5回は「過学習対策と最適化」です。L1・L2 正則化、ドロップアウト、バッチ正規化などの正規化層4種、SGD から Adam までの最適化手法の流れを、取り違えやすい点と一緒に整理します。


    G検定の500問をアプリで解くなら「ナレッジバンドル」

    画像

    資格対策アプリ「ナレッジバンドル」には、G検定のオリジナル問題500問がすべて入っています。スキマ時間に1問ずつ解いて、間違えた問題だけを繰り返せます。

    • 全問に解説つき。解説の用語はタップでG検定専用の用語辞書が開き、関連用語もたどれる

    • 解説を読んでも引っかかったら、その問題をそのままAIに質問。Google検索もワンタップ

    • 忘却曲線で復習を自動出題。「間違えた問題だけ」「未回答だけ」「ランダム」など出題の絞り込みも自由

    • 本番形式テストで、いまの合格率と弱点カテゴリをグラフで確認

    • 広告なし。全教材は無料体験できます

    ▶ ナレッジバンドルを無料で試す

    G検定のほか、100以上の資格・検定(レビュー中含む)が1つのアプリで使い放題です。アプリ内の教材追加画面で「G検定」と検索してください。


    ※この記事は2026年10月7日時点の公開情報をもとにしています。試験の制度や日程は変わることがあるので、受験前に必ずJDLA公式サイトで確認してください。体験記の引用は各記事の原文から行い、リンク先に出典を明記しています。確認問題はこの記事のために作ったもので、本番の問題の再現ではありません。

     
     
    資格試験の問題集をつくっています。全問解説つきの対策問題集PDFと、試験ごとの勉強法・頻出テーマの解説を公開中。G検定、ITパスポート、衛生管理者、エネ管、AWSなど40冊以上。スマホで解くならアプリ「ナレッジバンドル」(iPhone・Web)へ。

    あなたへのおすすめ