メインコンテンツへスキップ
見出し画像

G検定の機械学習手法:k-NNとk-means、バギングとブースティングの見分け方

    ▶ 前回の記事はこちら:第2回「G検定の評価指標:混同行列から適合率・再現率・F値・AUCを解く」

    G検定の勉強では、ディープラーニングの章に時間をかける人が多いはずです。ところが、受けた人の体験記には、逆の注意が書かれています。

    • 「意外と単純な機械学習についての問題が多く、深層学習についてばかり対策をしていると足元をすくわれるかも」(chamo)

    • 「ただし、各技術の特徴を理解していないと、選択肢で普通に迷います。」(いちばのよしくん)

    教師あり学習と教師なし学習の区別のような基本でも、油断はできません。ある合格者は、「「教師あり学習」「教師なし学習」「強化学習」の違いを説明するよう問われたとします。」と例を挙げたうえで、「AIエンジニアでは前提知識ですが、AI系ではないエンジニアには意外と難しいと思います。」と書いています(msys825)。9月の試験の前後約5週間に X で受験者の声を集めたときも、つまずいたテーマが書かれていた40件のうち4件は、機械学習やディープラーニングの技術的な中身が分からない、という声でした。

    この連載「G検定 頻出テーマ」では、試験によく出て、受験者がつまずきやすいテーマを1回に1つずつ掘り下げています。第3回の今回は、機械学習の手法の見分け方 です。

    私たちは資格の問題集アプリ「ナレッジバンドル」を作っていて、G検定の500問すべての解説に「正解の理由」だけでなく「各選択肢の正誤」を書いています。この単元のように名前の似た手法が選択肢に並ぶと、正解を知っているだけでは次に表現が変わったときに迷います。ほかの選択肢がなぜ違うのかまで、その場で確かめられるようにするためです。

    ▶ アプリ「ナレッジバンドル」はこちら


    シラバスでの位置:中項目7・8と10

    Gシラバス2024(第1.4版)では、この単元は「機械学習の概要」の中にあります。

    • 7. 教師あり学習(キーワード20個): アンサンブル学習、カーネル、カーネルトリック、回帰問題、決定木、勾配ブースティング、サポートベクターマシン (SVM)、線形回帰、自己回帰モデル (ARモデル)、単回帰分析、重回帰分析、多クラス分類、バギング、ブースティング、ブートストラップサンプリング、分類問題、ベクトル自己回帰モデル (VARモデル)、マージン最大化、ランダムフォレスト、ロジスティック回帰

    • 8. 教師なし学習(キーワード14個): k-means 法、t-SNE、ウォード法、協調フィルタリング、クラスタリング、コールドスタート問題、コンテンツベースフィルタリング、次元削減、主成分分析 (PCA)、潜在的ディリクレ配分法 (LDA)、多次元尺度構成法 (MDS)、デンドログラム (樹形図)、特異値分解 (SVD)、トピックモデル

    • 10. モデルの選択・評価 のうち検証方法: k- 分割交差検証、ホールドアウト検証、交差検証

    学習目標には、7・8 のどちらにも「目的やデータの特性・量に応じて、適切な教師あり学習モデルを選択できる」(8 は「教師なし学習モデル」)とあります。手法の名前を覚えるだけでなく、場面に合う手法を選べるか まで問われる単元です。

    なお、k-NN(k近傍法)は第1.4版の中項目7のキーワードには載っていません。それでも、k-means と名前が似ていて取り違えやすいので、この記事では一緒に押さえます。AdaBoost は第1.3版でキーワードから削除され、いまは「ブースティング」「勾配ブースティング」が残っています。


    まず「正解ラベルがあるか」で2つに分ける

    手法を覚える前に、地図を1枚頭に入れておくと迷いません。

    画像
    • 教師あり学習: 特徴量と正解ラベルのペアで学ぶ。シラバスの学習目標にも「教師あり学習には、特徴量と教師データのペアが必要であることを理解する」とあります

    • 教師なし学習: 特徴量だけで学ぶ。正解ラベルを使わずに、データの中の構造(まとまり・少ない次元での表し方)を見つけます

    • 強化学習: 正解ラベルではなく、行動の結果として得られる報酬を手がかりに学ぶ(第8回でくわしく扱います)

    教師あり学習は、何を出力するかでさらに分かれます。数値(売上・気温など)を予測するのが 回帰、カテゴリ(スパムかどうか・どの品種か)を予測するのが 分類 です。

    ここで最初の落とし穴があります。ロジスティック回帰は、名前に「回帰」と付いていても分類の手法 です。scikit-learn のドキュメントも、名前に反して分類のための線形モデルだと明記しています(scikit-learn: Linear Models)。「回帰問題に使う手法を選べ」という問題で、ロジスティック回帰を選ばないようにしましょう。


    教師あり学習の手法:それぞれ1行で言えるようにする

    • 線形回帰: 特徴量の重み付きの和で数値を予測する。誤差の二乗の和が最小になるように重みを決める(最小二乗法)。特徴量が1つなら単回帰分析、2つ以上なら重回帰分析

    • ロジスティック回帰: 分類。名前で間違えない

    • 決定木: 「この特徴量はある値より大きいか」という質問を枝分かれさせて予測する。分類にも回帰にも使える

    • SVM(サポートベクターマシン): クラスの境界を、いちばん近い学習データとの距離(マージン)が最大になるように引く(マージン最大化)。境界を決めるのは、境界の近くにある一部のデータ(サポートベクター)だけです。さらに カーネル関数 を使うと、データを高い次元に写したのと同じ効果を得られ、元の空間では曲がった境界を引けます(カーネルトリック)(scikit-learn: SVM)。原典は Cortes と Vapnik の1995年の論文です

    • k-NN(k近傍法): 新しいデータに近い k 個の学習データを探し、分類なら多数決、回帰なら平均で答える(scikit-learn: Nearest Neighbors)

    SVM は「マージン最大化」と「カーネルトリック」がセットで問われやすい手法です。マージン最大化は 境界の引き方、カーネルトリックは 曲がった境界を引くための工夫 で、別の考え方だと区別しておきましょう。


    取り違えやすいペア1:k-NN と k-means

    この単元でいちばん多い取り違えが、k-NN と k-means です。どちらも「k」が付き、どちらも「近さ」を使いますが、中身はまったく違います。

    画像
    • k-NN は教師あり。正解ラベルの付いたデータを使って、新しいデータを分類(または回帰)する。k は「参考にする近くの点の数」

    • k-means は教師なし。ラベルの無いデータを k 個のグループ(クラスタ)に分ける。k は「作るクラスタの数」で、事前に指定する必要がある(scikit-learn: Clustering)

    覚え方は、NN は Nearest Neighbors(近くの仲間)、means は平均(各クラスタの中心) です。k-means は、各点を最も近い中心に割り当て、割り当てた点の平均で中心を置き直す、という手順を繰り返します。

    k-NN は計算の形で問われても解けるようにしておくと安心です。図の例では、○と×のラベルが付いた6つの点があり、新しい点 Q(4, 3)を分類します。

    画像

    Q からの距離を近い順に並べると、C(○)が 1、D(×)と E(×)が √2 ≒ 1.41、F(×)が 2 です。

    • k = 1 なら、いちばん近い C だけを見るので、答えは ○

    • k = 3 なら、C・D・E の3点を見て、○が1・×が2の多数決で、答えは ×

    同じデータでも、k を変えると答えが変わります。 k は学習で求める値ではなく、人があらかじめ決める値(ハイパーパラメータ)です。


    画像

    取り違えやすいペア2:バギングとブースティング

    複数のモデルを組み合わせて1つの予測を出す方法を アンサンブル学習 と呼びます。その代表が、バギングとブースティングです。

    画像
    • バギング(並列): 元の学習データから、重複を許してランダムにデータを取り出し(ブートストラップサンプリング)、取り出した標本ごとに別々のモデルを作る。最後は多数決(回帰なら平均)。各モデルは互いに独立なので、同時に作れます。Breiman が1996年に発表しました

    • ブースティング(逐次): モデルを1つずつ順番に作り、前のモデルの誤りを補うように次のモデルを作る。最後に全モデルの予測を足し合わせます。勾配ブースティングは、これを任意の微分可能な損失関数に一般化したもの(scikit-learn: Ensembles)で、Friedman の2001年の論文が原典です

    ランダムフォレストはバギングの仲間 です。決定木をバギングで並べたうえで、木の枝を分けるたびに、特徴量の一部だけをランダムに選んで使います。これで木どうしが似すぎるのを防ぎます(Breiman、2001年)。

    見分けるときの合言葉は、「並列ならバギング、逐次ならブースティング」。「前のモデルが間違えたデータを重視して次を学習する」と書かれていたらブースティング、「復元抽出した標本で独立に学習する」と書かれていたらバギングです。


    教師なし学習の手法:クラスタリング・次元削減・推薦

    • ウォード法: クラスタを1つずつ順にまとめていく階層的クラスタリングの方法の1つ。クラスタ内の二乗誤差の和が小さくなるようにまとめます。まとめていく過程は樹形図(デンドログラム)で表せます(scikit-learn: Clustering)

    • 主成分分析(PCA): データの分散をできるだけ多く説明する、互いに直交する方向(主成分)を順に求めて、少ない次元で表す。線形 の次元削減です(scikit-learn: Decomposition)

    • t-SNE: 高次元のデータを2〜3次元に落として 可視化 するための 非線形 の次元削減。似たデータ同士が近くに並ぶように配置します。最適化の性質上、初期値によって結果が変わることがあります(scikit-learn: Manifold learning)。van der Maaten と Hinton の2008年の論文が原典です

    • 協調フィルタリング: 利用者と商品の類似性を同時に使って推薦する。ほかの利用者の評価を手がかりにする方法です。学習時に評価の無かった新しい商品は扱えない、という弱点があり、これが コールドスタート問題 です(Google Machine Learning)。商品そのものの特徴を使うのが コンテンツベースフィルタリング です(Google Machine Learning: Recommendation Systems)

    協調フィルタリングは、シラバスでは教師なし学習(中項目8)のキーワードに入っています。「推薦は教師あり?」と迷ったら、シラバスの置き場所を思い出しましょう。

    PCA と t-SNE は、「線形・分散を最大化」と「非線形・可視化向け」 で区別します。


    検証方法:ホールドアウトと k-分割交差検証

    最後に、作ったモデルの性能を確かめる方法です。

    画像
    • ホールドアウト検証: データを学習用と検証用に1回だけ分けて評価する

    • k-分割交差検証: 学習用のデータを k 個に分け、k−1 個で学習し、残りの1個で評価する。これを、評価に使う1個を入れ替えながら k 回繰り返し、評価の平均を使う。k をデータの件数と同じにすると、1件ずつ評価に回す Leave-One-Out と同じになります(scikit-learn: Cross-validation)

    計算の形で問われたときのために、数字で確かめておきます。学習に使えるデータが1,000件で k = 5 なら、1回あたり 1,000 ÷ 5 = 200件で評価し、残りの 800件で学習します。学習と評価は5回です。

    注意したいのは、交差検証はテストデータの代わりにはならない ことです。scikit-learn も、交差検証をするときでも最終評価用のテストデータは別に取り分けておくべきだと説明しています。検証用のデータでパラメータを調整すると、そのデータに合わせ込んだ評価になってしまうからです。


    確認問題

    この記事のために作った問題で、本番の問題の再現ではありません。

    問1

    次のうち、教師なし学習に分類される手法として最も適切なものを1つ選べ。

    1. k近傍法(k-NN)

    2. ロジスティック回帰

    3. k-means 法

    4. ランダムフォレスト

    問2

    アンサンブル学習の説明として最も適切なものを1つ選べ。

    1. ランダムフォレストは、前の決定木の誤りを補うように次の決定木を順番に作るブースティングの手法である

    2. 勾配ブースティングは、それまでのモデルの誤りを補うようにモデルを1つずつ加えていく手法である

    3. バギングは、学習データを分けずに全件そのまま使い、同じモデルを何度も学習させる手法である

    4. ブースティングでは、各モデルを互いに独立に、並列で学習させる

    問3

    学習に使えるデータが2,000件ある。5分割交差検証を行うとき、1回の学習に使うデータの件数と、学習を行う回数の組み合わせとして正しいものを1つ選べ。

    1. 400件・1回

    2. 1,600件・5回

    3. 1,600件・1回

    4. 400件・5回

    答えと解説

    問1の答え: 3。k-means 法は、正解ラベルの無いデータを k 個のクラスタに分ける教師なし学習です。1 の k-NN は名前が似ていますが、正解ラベルを使う教師あり学習です。2 のロジスティック回帰は教師あり学習の分類、4 のランダムフォレストも教師あり学習です。

    問2の答え: 2。前までのモデルの誤りを補うように逐次モデルを加えるのが、ブースティングと勾配ブースティングの考え方です。1 はランダムフォレストをブースティングと取り違えています(ランダムフォレストはバギングの仲間)。3 のバギングは、復元抽出した標本ごとに別のモデルを作ります。4 の「独立・並列」はバギングの特徴です。

    問3の答え: 2。2,000 ÷ 5 = 400件を評価に使い、残りの 2,000 − 400 = 1,600件で学習します。評価に使う部分を入れ替えながら5回繰り返すので、学習も5回です。1 と 4 は、評価に使う件数と学習に使う件数を取り違えています。


    まとめ

    • まず 正解ラベルがあるか で教師あり/教師なしに分け、次に 何を出力するか(回帰・分類・クラスタリング・次元削減)で分ける

    • ロジスティック回帰は分類。名前の「回帰」にだまされない

    • k-NN は教師あり(k は近傍の数)、k-means は教師なし(k はクラスタ数・事前に指定)

    • バギングは並列(ランダムフォレスト)、ブースティングは逐次(勾配ブースティング)

    • SVM は マージン最大化 と カーネルトリック をセットで説明できるようにする

    • PCA は線形・分散最大化、t-SNE は非線形・可視化向け。協調フィルタリングはシラバスでは教師なしの項目

    • 交差検証の計算は「件数 ÷ k が評価用、残りが学習用、学習は k 回」。テストデータは別に取り分ける

    次の G2026#6 はオンライン試験が11月6日(金)・7日(土)、個人の申込は10月29日(木)23:59 までです(JDLA)。

    次回の第4回は、ニューラルネットワークの中に入ります。シグモイド・tanh・ReLU の違いと、勾配消失が起きる理由 を、微分の最大値の数字と一緒に整理します。


    G検定の500問をアプリで解くなら「ナレッジバンドル」

    画像

    資格対策アプリ「ナレッジバンドル」には、G検定のオリジナル問題500問がすべて入っています。スキマ時間に1問ずつ解いて、間違えた問題だけを繰り返せます。

    • 全問に解説つき。解説の用語はタップでG検定専用の用語辞書が開き、関連用語もたどれる

    • 解説を読んでも引っかかったら、その問題をそのままAIに質問。Google検索もワンタップ

    • 忘却曲線で復習を自動出題。「間違えた問題だけ」「未回答だけ」「ランダム」など出題の絞り込みも自由

    • 本番形式テストで、いまの合格率と弱点カテゴリをグラフで確認

    • 広告なし。全教材は無料体験できます

    ▶ ナレッジバンドルを無料で試す

    G検定のほか、100以上の資格・検定(レビュー中含む)が1つのアプリで使い放題です。アプリ内の教材追加画面で「G検定」と検索してください。


    ※この記事は2026年10月7日時点の公開情報をもとにしています。試験の制度や日程は変わることがあるので、受験前に必ずJDLA公式サイトで確認してください。体験記の引用は各記事の原文から行い、リンク先に出典を明記しています。確認問題はこの記事のために作ったもので、本番の問題の再現ではありません。

     
     
    資格試験の問題集をつくっています。全問解説つきの対策問題集PDFと、試験ごとの勉強法・頻出テーマの解説を公開中。G検定、ITパスポート、衛生管理者、エネ管、AWSなど40冊以上。スマホで解くならアプリ「ナレッジバンドル」(iPhone・Web)へ。

    あなたへのおすすめ