メインコンテンツへスキップ
見出し画像

G検定の評価指標:混同行列から適合率・再現率・F値・AUCを解く

    ▶ 前回の記事はこちら:第1回「G検定の数理・統計は「計算の型」で取る:ベイズの定理・期待値・分散・交差エントロピー」

    適合率と再現率。どちらも「当たった割合」に見えるのに、式を見比べると分母だけが違います。G検定の勉強でここに来ると、「TP と FP と FN、どれを足すんだっけ」と手が止まりがちです。

    体験記を読むと、評価指標を含む機械学習の基本は、軽く見ると足をすくわれ、押さえれば点を取り返しやすい単元だとわかります。2025年に受験した chamo さんは、「意外と単純な機械学習についての問題が多く、深層学習についてばかり対策をしていると足元をすくわれるかも」と書いています。一方で、63%で不合格になったあと再受験した もり さんは、評価指標(精度・再現率など)を「短時間で点になりやすい領域」と振り返っています。覚える式は数本しかなく、一度しくみがわかれば迷わなくなる単元です。

    この連載「G検定 頻出テーマ」では、試験によく出て受験者がつまずきやすいテーマを1回に1つずつ取り上げ、読み終えたらそのテーマの問題を自力で解けるところまで掘り下げます。第2回の今回は 評価指標 です。

    私たちは資格の問題集アプリ「ナレッジバンドル」を作っていて、G検定の500問すべてに、正解の理由と各選択肢の正誤を解説として付けています。評価指標の問題は、選択肢に適合率・再現率・特異度のような似た指標が並びます。正解の式を1本覚えるより、ほかの選択肢の式がどう違うのかまで言えるほうが本番で崩れにくい、と考えてこの形にしました。この記事も、指標どうしの違いを中心に整理します。

    ▶ アプリ「ナレッジバンドル」はこちら


    シラバスでの位置

    Gシラバス2024(第1.4版)では、技術分野「機械学習の概要」の中項目 10. モデルの選択・評価 に入っています(JDLA シラバス PDF)。キーワードは16個で、評価指標に関係するのは次のものです。

    • 混同行列

    • 偽陽性・偽陰性、真陽性・真陰性(真陽性・真陰性は第1.3版で追加)

    • 正解率・適合率・再現率・F 値

    • ROC 曲線・AUC

    • 平均二乗誤差 (MSE)、二乗平均平方根誤差 (RMSE)、平均絶対値誤差 (MAE)

    学習目標には「モデルの適用環境、ビジネス課題、並びに目的に応じて、適切な評価指標・モデルを選択できる」という一文もあります。式を覚えるだけでなく、場面に合わせてどの指標を選ぶかまで問われうる、ということです。同じ中項目にある交差検証・ホールドアウト検証・AIC/BIC は、第3回で機械学習の手法と一緒に扱います。

    なお、体験記を読んだ範囲では、「混同行列の計算が本番で出た」と書いた信頼できる記事は見つかりませんでした。ただ、キーワードに混同行列と各指標がそろって入っている以上、計算の形で問われても解けるように しておくのが安全です。


    混同行列は「位置」ではなく「名前」で覚える

    2値分類(陽性か陰性か)の結果は、実際の答えとモデルの予測の組み合わせで4つに分かれます。これを並べた表が混同行列です。

    • TP(真陽性): 陽性と予測して、当たった

    • FP(偽陽性): 陽性と予測して、外れた(誤検知)

    • FN(偽陰性): 陰性と予測して、外れた(見逃し)

    • TN(真陰性): 陰性と予測して、当たった

    ここでの注意は、表の「どの角に何があるか」で覚えないことです。教科書や解説によって行と列の取り方が違い、Python の機械学習ライブラリ scikit-learn の confusion_matrix 関数は、行が実際・列が予測でラベル 0, 1 の順に並ぶため、左上が TN になります。ドキュメント自身も、Wikipedia などほかの文献とは軸の取り方が違う場合があると注記しています(scikit-learn User Guide)。

    位置に頼らず、2文字を分けて読めば迷いません。2文字目の P/N はモデルの予測、1文字目の T/F はその予測が当たったかどうか です。FN なら「陰性と予測して(N)、外れた(F)」、つまり本当は陽性だったのに見逃した、と読めます。


    同じ100件で全部の指標を計算する

    ここからは、1つの例ですべての指標を計算します。100件のデータのうち実際の陽性は20件。モデルは25件を陽性と予測し、結果は TP=15、FN=5、FP=10、TN=70 でした。

    画像
    • 正解率 = (TP + TN) ÷ 全体 = (15 + 70) ÷ 100 = 0.85

    • 適合率 = TP ÷ (TP + FP) = 15 ÷ 25 = 0.60

    • 再現率 = TP ÷ (TP + FN) = 15 ÷ 20 = 0.75

    • 特異度 = TN ÷ (TN + FP) = 70 ÷ 80 = 0.875

    • 偽陽性率 = FP ÷ (FP + TN) = 10 ÷ 80 = 0.125(= 1 − 特異度)

    • F値(F1) = 2 × 適合率 × 再現率 ÷ (適合率 + 再現率) = 2 × 0.60 × 0.75 ÷ 1.35 ≒ 0.667

    「分母で見分ける」覚え方

    分子はどれも「当たったもの」なので、見分ける手がかりは分母です。

    • 適合率の分母は 陽性と予測したもの(TP + FP)。「陽性と言ったうち、本当に陽性だった割合」

    • 再現率の分母は 実際に陽性のもの(TP + FN)。「本当の陽性のうち、拾えた割合」。感度、真陽性率(TPR)とも呼びます

    • 特異度の分母は 実際に陰性のもの(TN + FP)。「本当の陰性のうち、陰性と当てた割合」

    適合率は「予測」の側、再現率と特異度は「実際」の側から数える、と覚えておくと、選択肢に式が並んでいても判断できます。

    F値は適合率と再現率の 調和平均 です。普通の平均(相加平均)ならこの例は 0.675 ですが、調和平均は小さいほうに引っ張られるため 0.667 になります。片方だけが高いモデルを高く評価しないための指標です。適合率と再現率の重みを変えたいときは、β で重みを付けた Fβ を使います(β = 1 が F1)。

    正解率だけを見てはいけない理由

    正解率は分かりやすい反面、陽性がとても少ないデータでは当てになりません。100件中、陽性が1件しかないデータで、モデルが全部を「陰性」と答えたとします。正解率は 99 ÷ 100 = 0.99 ですが、たった1件の陽性を見逃しているので再現率は 0 です(陽性と予測したものが0件なので、適合率は 0 ÷ 0 で計算できません)。病気や不正のように「少ないほうを見つけたい」問題では、正解率ではなく再現率や適合率を見ます。


    見逃しが困るか、誤検知が困るか

    どの指標を重視するかは、FN(見逃し)と FP(誤検知)のどちらが痛いかで決まります。

    • 再現率を重視する場面=見逃しが困る: 病気のスクリーニング(一次検査)や、不正取引の一次ふるい分け。病気の人を「陰性」と見逃すと手遅れになりかねません。誤検知は精密検査で取り除けばよい、という考え方です

    • 適合率を重視する場面=誤検知が困る: 迷惑メールの判定。普通のメールを迷惑メールと誤判定して消してしまうと、大事な連絡を失います。ほかに、おすすめ商品の上位表示のように「出したものは外したくない」場面も適合率寄りです

    適合率と再現率は、多くの場合どちらかを上げるともう一方が下がります。モデルは「陽性らしさ」のスコアを出し、しきい値を超えたものを陽性と判定します。しきい値を下げれば陽性と予測する件数が増え、見逃しは減りますが誤検知が増えます。このしきい値の動かし方を1枚の図にしたのが、次の ROC 曲線です。

    画像

    ROC 曲線と AUC:しきい値を動かして描く

    ROC 曲線は、しきい値を少しずつ動かしながら、横軸に偽陽性率(FPR)、縦軸に真陽性率(TPR=再現率) を取って点を打ち、つないだ曲線です。

    画像

    図は、同じ100件をスコアの高い順に5段階に分け、しきい値を1段ずつ下げたものです。3つ目の点(③)が、さきほどの TP=15・FP=10 にあたります。しきい値を下げるほど点は右上に進み、再現率は 0.40 → 0.60 → 0.75 → 0.90 と上がる一方、適合率は 0.80 → 0.71 → 0.60 → 0.38 と下がっていきます。

    読み方のポイントは3つです。

    • 左上(偽陽性率 0、真陽性率 1)が理想。曲線が左上に張り出しているほど、誤検知を増やさずに陽性を拾えている

    • AUC は曲線の下の面積 で、0〜1 の値。大きいほど良い。この例では約0.87

    • でたらめな予測は対角線になり、AUC は 0.5

    左上が理想であることと、偶然のレベルが AUC=0.5 であることは、scikit-learn の解説にも示されています(scikit-learn ROC の例)。また、AUC を計算するときは、「陽性/陰性」のラベルではなく、スコアや確率を使います。しきい値を動かすには、もとのスコアが必要だからです。

    PR 曲線との違い

    PR 曲線は、横軸に再現率、縦軸に適合率 を取った曲線です。どちらの曲線にも再現率が出てきますが、ROC では縦軸、PR では横軸と、位置が違います。scikit-learn の説明では、でたらめに予測したときの平均適合率(AP)は陽性の割合に等しくなります。ROC の AUC と違って、でたらめの基準が 0.5 に固定されないので注意しましょう。


    回帰の指標:MSE・RMSE・MAE

    数値を予測する回帰では、混同行列は使わず、予測と正解の差(誤差)で評価します。誤差が 1、−2、3 の3件で計算してみます。

    • MSE(平均二乗誤差) = 誤差の2乗の平均 = (1 + 4 + 9) ÷ 3 ≒ 4.67

    • RMSE(二乗平均平方根誤差) = √MSE ≒ 2.16

    • MAE(平均絶対値誤差) = 誤差の絶対値の平均 = (1 + 2 + 3) ÷ 3 = 2.0

    RMSE は2乗してから平均するため、大きな誤差(外れ値)に敏感 です。外れ値の影響を抑えたいなら MAE、と区別します。単位にも注意が要ります。RMSE と MAE は予測したい値と同じ単位ですが、MSE は2乗した単位になります。

    多クラスのとき:マクロ平均とマイクロ平均

    3つ以上のクラスに分ける問題では、クラスごとの適合率や再現率をどうまとめるかで2通りあります(シラバスのキーワードには無い用語ですが、適合率・再現率を多クラスに広げるときに使います)。

    • マクロ平均: クラスごとに指標を出してから単純に平均。各クラスを平等に 扱うので、数の少ないクラスの成績がそのまま効く

    • マイクロ平均: 全クラスの TP・FP・FN を合算してから計算。各データを平等に 扱うので、数の多いクラスに引っ張られる

    たとえば適合率が、クラスAで 90 ÷ 100 = 0.9、クラスBで 1 ÷ 10 = 0.1 だったとします。マクロ平均は (0.9 + 0.1) ÷ 2 = 0.50、マイクロ平均は 91 ÷ 110 ≒ 0.83 です。少数クラスBの悪さが見えるのはマクロ平均のほうです。


    取り違えやすいペア

    • 適合率と再現率: 分母が「予測が陽性」か「実際が陽性」か。予測側が適合率、実際側が再現率

    • 適合率と特異度: どちらも誤検知(FP)が分母に入るが、特異度は「実際が陰性」の中で数える

    • 偽陽性と偽陰性: 2文字目が予測。偽陽性は「陽性と予測して外れ」=誤検知、偽陰性は「陰性と予測して外れ」=見逃し

    • ROC 曲線と PR 曲線: ROC は(横 偽陽性率・縦 再現率)、PR は(横 再現率・縦 適合率)

    • ROC 曲線と学習曲線: ROC はしきい値を動かして描く。エポックやデータ量を横軸にするのは学習曲線

    • マクロとマイクロ: クラスを平等にするのがマクロ、データを平等にするのがマイクロ

    • RMSE と MAE: 外れ値に敏感なのは2乗する RMSE

    私たちのアプリでは、解説に出てくる用語をタップすると用語辞書が開くので、問題を解いていて適合率と再現率のどちらだったか迷ったら、その場で定義に戻れます。


    確認問題

    この記事のために作った問題で、本番の問題の再現ではありません。

    問1

    ある分類モデルを200件で評価したところ、TP=40、FP=10、FN=40、TN=110 だった。このモデルの再現率として正しいものはどれか。

    1. 0.50

    2. 0.75

    3. 0.80

    4. 0.92

    問2

    がん検診の一次検査に使うモデルを選ぶ。陽性と判定された人は精密検査で改めて調べるが、病気の人を陰性と判定して見逃すことは避けたい。このとき最も重視すべき指標はどれか。

    1. 適合率

    2. 再現率

    3. 正解率

    4. 特異度

    問3

    ROC 曲線と AUC の説明として、最も適切なものはどれか。

    1. 横軸にエポック数、縦軸に正解率を取り、学習の進み具合を表す

    2. 横軸に再現率、縦軸に適合率を取り、しきい値ごとの値をつないだものである

    3. 横軸に偽陽性率、縦軸に真陽性率を取り、しきい値を変えながら描く。AUC が1に近いほど良い

    4. AUC が 0.5 のモデルは、すべてのデータを正しく分類できている

    答えと解説

    問1 の答え: 1(0.50)。再現率 = TP ÷ (TP + FN) = 40 ÷ 80 = 0.50。2 の 0.75 は正解率(150 ÷ 200)、3 の 0.80 は適合率(40 ÷ 50)、4 の約0.92 は特異度(110 ÷ 120)です。どれも同じ表から計算できる値なので、分母を取り違えると別の選択肢を選んでしまいます。

    問2 の答え: 2(再現率)。見逃し(FN)を減らしたい場面なので、分母に FN が入る再現率を重視します。誤検知(FP)は精密検査で取り除けるので、適合率は二の次です。特異度は「実際が陰性の人を陰性と当てる割合」で、見逃しとは関係しません。

    問3 の答え: 3。1 は学習曲線、2 は PR 曲線の説明です。4 は誤りで、AUC 0.5 は対角線、つまりでたらめな予測と同じ水準です。


    まとめ

    • 混同行列は位置で覚えない。2文字目(P/N)が予測、1文字目(T/F)が当たり外れ。scikit-learn の表示は左上が TN

    • 指標は 分母で見分ける。適合率は「予測が陽性」、再現率は「実際が陽性」、特異度は「実際が陰性」

    • 見逃しが困るなら再現率、誤検知が困るなら適合率。F値はその調和平均

    • 陽性が少ないデータでは、正解率は当てにならない

    • ROC 曲線は 横軸 偽陽性率・縦軸 真陽性率。左上が理想で、AUC 0.5 はでたらめと同じ

    • 回帰は MSE・RMSE・MAE。外れ値に敏感なのは RMSE

    • 多クラスでは、クラスを平等にするマクロ、データを平等にするマイクロ

    次回の G2026#6 はオンライン試験が11月6日(金)・7日(土)、申込は10月29日(木)23:59 までです。

    第3回は「機械学習の手法」です。k-NN と k-means、バギングとブースティングのように名前の似た手法を、教師あり・教師なしと用途の2つの軸で見分けます。


    G検定の500問をアプリで解くなら「ナレッジバンドル」

    画像

    資格対策アプリ「ナレッジバンドル」には、G検定のオリジナル問題500問がすべて入っています。スキマ時間に1問ずつ解いて、間違えた問題だけを繰り返せます。

    • 全問に解説つき。解説の用語はタップでG検定専用の用語辞書が開き、関連用語もたどれる

    • 解説を読んでも引っかかったら、その問題をそのままAIに質問。Google検索もワンタップ

    • 忘却曲線で復習を自動出題。「間違えた問題だけ」「未回答だけ」「ランダム」など出題の絞り込みも自由

    • 本番形式テストで、いまの合格率と弱点カテゴリをグラフで確認

    • 広告なし。全教材は無料体験できます

    ▶ ナレッジバンドルを無料で試す

    G検定のほか、100以上の資格・検定(レビュー中含む)が1つのアプリで使い放題です。アプリ内の教材追加画面で「G検定」と検索してください。


    ※この記事は2026年10月7日時点の公開情報をもとにしています。試験の制度や日程は変わることがあるので、受験前に必ずJDLA公式サイトで確認してください。体験記の引用は各記事の原文から行い、リンク先に出典を明記しています。確認問題はこの記事のために作ったもので、本番の問題の再現ではありません。計算例の数値も記事のための自作です。

     
     
    資格試験の問題集をつくっています。全問解説つきの対策問題集PDFと、試験ごとの勉強法・頻出テーマの解説を公開中。G検定、ITパスポート、衛生管理者、エネ管、AWSなど40冊以上。スマホで解くならアプリ「ナレッジバンドル」(iPhone・Web)へ。

    あなたへのおすすめ