
G検定の機械学習手法:k-NNとk-means、バギングとブースティングの見分け方
▶ 前回の記事はこちら:第2回「G検定の評価指標:混同行列から適合率・再現率・F値・AUCを解く」
G検定の勉強では、ディープラーニングの章に時間をかける人が多いはずです。ところが、受けた人の体験記には、逆の注意が書かれています。
「意外と単純な機械学習についての問題が多く、深層学習についてばかり対策をしていると足元をすくわれるかも」(chamo)
「ただし、各技術の特徴を理解していないと、選択肢で普通に迷います。」(いちばのよしくん)
教師あり学習と教師なし学習の区別のような基本でも、油断はできません。ある合格者は、「「教師あり学習」「教師なし学習」「強化学習」の違いを説明するよう問われたとします。」と例を挙げたうえで、「AIエンジニアでは前提知識ですが、AI系ではないエンジニアには意外と難しいと思います。」と書いています(msys825)。9月の試験の前後約5週間に X で受験者の声を集めたときも、つまずいたテーマが書かれていた40件のうち4件は、機械学習やディープラーニングの技術的な中身が分からない、という声でした。
この連載「G検定 頻出テーマ」では、試験によく出て、受験者がつまずきやすいテーマを1回に1つずつ掘り下げています。第3回の今回は、機械学習の手法の見分け方 です。
私たちは資格の問題集アプリ「ナレッジバンドル」を作っていて、G検定の500問すべての解説に「正解の理由」だけでなく「各選択肢の正誤」を書いています。この単元のように名前の似た手法が選択肢に並ぶと、正解を知っているだけでは次に表現が変わったときに迷います。ほかの選択肢がなぜ違うのかまで、その場で確かめられるようにするためです。
▶ アプリ「ナレッジバンドル」はこちら
シラバスでの位置:中項目7・8と10
Gシラバス2024(第1.4版)では、この単元は「機械学習の概要」の中にあります。
7. 教師あり学習(キーワード20個): アンサンブル学習、カーネル、カーネルトリック、回帰問題、決定木、勾配ブースティング、サポートベクターマシン (SVM)、線形回帰、自己回帰モデル (ARモデル)、単回帰分析、重回帰分析、多クラス分類、バギング、ブースティング、ブートストラップサンプリング、分類問題、ベクトル自己回帰モデル (VARモデル)、マージン最大化、ランダムフォレスト、ロジスティック回帰
8. 教師なし学習(キーワード14個): k-means 法、t-SNE、ウォード法、協調フィルタリング、クラスタリング、コールドスタート問題、コンテンツベースフィルタリング、次元削減、主成分分析 (PCA)、潜在的ディリクレ配分法 (LDA)、多次元尺度構成法 (MDS)、デンドログラム (樹形図)、特異値分解 (SVD)、トピックモデル
10. モデルの選択・評価 のうち検証方法: k- 分割交差検証、ホールドアウト検証、交差検証
学習目標には、7・8 のどちらにも「目的やデータの特性・量に応じて、適切な教師あり学習モデルを選択できる」(8 は「教師なし学習モデル」)とあります。手法の名前を覚えるだけでなく、場面に合う手法を選べるか まで問われる単元です。
なお、k-NN(k近傍法)は第1.4版の中項目7のキーワードには載っていません。それでも、k-means と名前が似ていて取り違えやすいので、この記事では一緒に押さえます。AdaBoost は第1.3版でキーワードから削除され、いまは「ブースティング」「勾配ブースティング」が残っています。
まず「正解ラベルがあるか」で2つに分ける
手法を覚える前に、地図を1枚頭に入れておくと迷いません。

教師あり学習: 特徴量と正解ラベルのペアで学ぶ。シラバスの学習目標にも「教師あり学習には、特徴量と教師データのペアが必要であることを理解する」とあります
教師なし学習: 特徴量だけで学ぶ。正解ラベルを使わずに、データの中の構造(まとまり・少ない次元での表し方)を見つけます
強化学習: 正解ラベルではなく、行動の結果として得られる報酬を手がかりに学ぶ(第8回でくわしく扱います)
教師あり学習は、何を出力するかでさらに分かれます。数値(売上・気温など)を予測するのが 回帰、カテゴリ(スパムかどうか・どの品種か)を予測するのが 分類 です。
ここで最初の落とし穴があります。ロジスティック回帰は、名前に「回帰」と付いていても分類の手法 です。scikit-learn のドキュメントも、名前に反して分類のための線形モデルだと明記しています(scikit-learn: Linear Models)。「回帰問題に使う手法を選べ」という問題で、ロジスティック回帰を選ばないようにしましょう。
教師あり学習の手法:それぞれ1行で言えるようにする
線形回帰: 特徴量の重み付きの和で数値を予測する。誤差の二乗の和が最小になるように重みを決める(最小二乗法)。特徴量が1つなら単回帰分析、2つ以上なら重回帰分析
ロジスティック回帰: 分類。名前で間違えない
決定木: 「この特徴量はある値より大きいか」という質問を枝分かれさせて予測する。分類にも回帰にも使える
SVM(サポートベクターマシン): クラスの境界を、いちばん近い学習データとの距離(マージン)が最大になるように引く(マージン最大化)。境界を決めるのは、境界の近くにある一部のデータ(サポートベクター)だけです。さらに カーネル関数 を使うと、データを高い次元に写したのと同じ効果を得られ、元の空間では曲がった境界を引けます(カーネルトリック)(scikit-learn: SVM)。原典は Cortes と Vapnik の1995年の論文です
k-NN(k近傍法): 新しいデータに近い k 個の学習データを探し、分類なら多数決、回帰なら平均で答える(scikit-learn: Nearest Neighbors)
SVM は「マージン最大化」と「カーネルトリック」がセットで問われやすい手法です。マージン最大化は 境界の引き方、カーネルトリックは 曲がった境界を引くための工夫 で、別の考え方だと区別しておきましょう。
取り違えやすいペア1:k-NN と k-means
この単元でいちばん多い取り違えが、k-NN と k-means です。どちらも「k」が付き、どちらも「近さ」を使いますが、中身はまったく違います。

k-NN は教師あり。正解ラベルの付いたデータを使って、新しいデータを分類(または回帰)する。k は「参考にする近くの点の数」
k-means は教師なし。ラベルの無いデータを k 個のグループ(クラスタ)に分ける。k は「作るクラスタの数」で、事前に指定する必要がある(scikit-learn: Clustering)
覚え方は、NN は Nearest Neighbors(近くの仲間)、means は平均(各クラスタの中心) です。k-means は、各点を最も近い中心に割り当て、割り当てた点の平均で中心を置き直す、という手順を繰り返します。
k-NN は計算の形で問われても解けるようにしておくと安心です。図の例では、○と×のラベルが付いた6つの点があり、新しい点 Q(4, 3)を分類します。

Q からの距離を近い順に並べると、C(○)が 1、D(×)と E(×)が √2 ≒ 1.41、F(×)が 2 です。
k = 1 なら、いちばん近い C だけを見るので、答えは ○
k = 3 なら、C・D・E の3点を見て、○が1・×が2の多数決で、答えは ×
同じデータでも、k を変えると答えが変わります。 k は学習で求める値ではなく、人があらかじめ決める値(ハイパーパラメータ)です。

取り違えやすいペア2:バギングとブースティング
複数のモデルを組み合わせて1つの予測を出す方法を アンサンブル学習 と呼びます。その代表が、バギングとブースティングです。

バギング(並列): 元の学習データから、重複を許してランダムにデータを取り出し(ブートストラップサンプリング)、取り出した標本ごとに別々のモデルを作る。最後は多数決(回帰なら平均)。各モデルは互いに独立なので、同時に作れます。Breiman が1996年に発表しました
ブースティング(逐次): モデルを1つずつ順番に作り、前のモデルの誤りを補うように次のモデルを作る。最後に全モデルの予測を足し合わせます。勾配ブースティングは、これを任意の微分可能な損失関数に一般化したもの(scikit-learn: Ensembles)で、Friedman の2001年の論文が原典です
ランダムフォレストはバギングの仲間 です。決定木をバギングで並べたうえで、木の枝を分けるたびに、特徴量の一部だけをランダムに選んで使います。これで木どうしが似すぎるのを防ぎます(Breiman、2001年)。
見分けるときの合言葉は、「並列ならバギング、逐次ならブースティング」。「前のモデルが間違えたデータを重視して次を学習する」と書かれていたらブースティング、「復元抽出した標本で独立に学習する」と書かれていたらバギングです。
教師なし学習の手法:クラスタリング・次元削減・推薦
ウォード法: クラスタを1つずつ順にまとめていく階層的クラスタリングの方法の1つ。クラスタ内の二乗誤差の和が小さくなるようにまとめます。まとめていく過程は樹形図(デンドログラム)で表せます(scikit-learn: Clustering)
主成分分析(PCA): データの分散をできるだけ多く説明する、互いに直交する方向(主成分)を順に求めて、少ない次元で表す。線形 の次元削減です(scikit-learn: Decomposition)
t-SNE: 高次元のデータを2〜3次元に落として 可視化 するための 非線形 の次元削減。似たデータ同士が近くに並ぶように配置します。最適化の性質上、初期値によって結果が変わることがあります(scikit-learn: Manifold learning)。van der Maaten と Hinton の2008年の論文が原典です
協調フィルタリング: 利用者と商品の類似性を同時に使って推薦する。ほかの利用者の評価を手がかりにする方法です。学習時に評価の無かった新しい商品は扱えない、という弱点があり、これが コールドスタート問題 です(Google Machine Learning)。商品そのものの特徴を使うのが コンテンツベースフィルタリング です(Google Machine Learning: Recommendation Systems)
協調フィルタリングは、シラバスでは教師なし学習(中項目8)のキーワードに入っています。「推薦は教師あり?」と迷ったら、シラバスの置き場所を思い出しましょう。
PCA と t-SNE は、「線形・分散を最大化」と「非線形・可視化向け」 で区別します。
検証方法:ホールドアウトと k-分割交差検証
最後に、作ったモデルの性能を確かめる方法です。

ホールドアウト検証: データを学習用と検証用に1回だけ分けて評価する
k-分割交差検証: 学習用のデータを k 個に分け、k−1 個で学習し、残りの1個で評価する。これを、評価に使う1個を入れ替えながら k 回繰り返し、評価の平均を使う。k をデータの件数と同じにすると、1件ずつ評価に回す Leave-One-Out と同じになります(scikit-learn: Cross-validation)
計算の形で問われたときのために、数字で確かめておきます。学習に使えるデータが1,000件で k = 5 なら、1回あたり 1,000 ÷ 5 = 200件で評価し、残りの 800件で学習します。学習と評価は5回です。
注意したいのは、交差検証はテストデータの代わりにはならない ことです。scikit-learn も、交差検証をするときでも最終評価用のテストデータは別に取り分けておくべきだと説明しています。検証用のデータでパラメータを調整すると、そのデータに合わせ込んだ評価になってしまうからです。
確認問題
この記事のために作った問題で、本番の問題の再現ではありません。
問1
次のうち、教師なし学習に分類される手法として最も適切なものを1つ選べ。
k近傍法(k-NN)
ロジスティック回帰
k-means 法
ランダムフォレスト
問2
アンサンブル学習の説明として最も適切なものを1つ選べ。
ランダムフォレストは、前の決定木の誤りを補うように次の決定木を順番に作るブースティングの手法である
勾配ブースティングは、それまでのモデルの誤りを補うようにモデルを1つずつ加えていく手法である
バギングは、学習データを分けずに全件そのまま使い、同じモデルを何度も学習させる手法である
ブースティングでは、各モデルを互いに独立に、並列で学習させる
問3
学習に使えるデータが2,000件ある。5分割交差検証を行うとき、1回の学習に使うデータの件数と、学習を行う回数の組み合わせとして正しいものを1つ選べ。
400件・1回
1,600件・5回
1,600件・1回
400件・5回
答えと解説
問1の答え: 3。k-means 法は、正解ラベルの無いデータを k 個のクラスタに分ける教師なし学習です。1 の k-NN は名前が似ていますが、正解ラベルを使う教師あり学習です。2 のロジスティック回帰は教師あり学習の分類、4 のランダムフォレストも教師あり学習です。
問2の答え: 2。前までのモデルの誤りを補うように逐次モデルを加えるのが、ブースティングと勾配ブースティングの考え方です。1 はランダムフォレストをブースティングと取り違えています(ランダムフォレストはバギングの仲間)。3 のバギングは、復元抽出した標本ごとに別のモデルを作ります。4 の「独立・並列」はバギングの特徴です。
問3の答え: 2。2,000 ÷ 5 = 400件を評価に使い、残りの 2,000 − 400 = 1,600件で学習します。評価に使う部分を入れ替えながら5回繰り返すので、学習も5回です。1 と 4 は、評価に使う件数と学習に使う件数を取り違えています。
まとめ
まず 正解ラベルがあるか で教師あり/教師なしに分け、次に 何を出力するか(回帰・分類・クラスタリング・次元削減)で分ける
ロジスティック回帰は分類。名前の「回帰」にだまされない
k-NN は教師あり(k は近傍の数)、k-means は教師なし(k はクラスタ数・事前に指定)
バギングは並列(ランダムフォレスト)、ブースティングは逐次(勾配ブースティング)
SVM は マージン最大化 と カーネルトリック をセットで説明できるようにする
PCA は線形・分散最大化、t-SNE は非線形・可視化向け。協調フィルタリングはシラバスでは教師なしの項目
交差検証の計算は「件数 ÷ k が評価用、残りが学習用、学習は k 回」。テストデータは別に取り分ける
次の G2026#6 はオンライン試験が11月6日(金)・7日(土)、個人の申込は10月29日(木)23:59 までです(JDLA)。
次回の第4回は、ニューラルネットワークの中に入ります。シグモイド・tanh・ReLU の違いと、勾配消失が起きる理由 を、微分の最大値の数字と一緒に整理します。
G検定の500問をアプリで解くなら「ナレッジバンドル」

資格対策アプリ「ナレッジバンドル」には、G検定のオリジナル問題500問がすべて入っています。スキマ時間に1問ずつ解いて、間違えた問題だけを繰り返せます。
全問に解説つき。解説の用語はタップでG検定専用の用語辞書が開き、関連用語もたどれる
解説を読んでも引っかかったら、その問題をそのままAIに質問。Google検索もワンタップ
忘却曲線で復習を自動出題。「間違えた問題だけ」「未回答だけ」「ランダム」など出題の絞り込みも自由
本番形式テストで、いまの合格率と弱点カテゴリをグラフで確認
広告なし。全教材は無料体験できます
G検定のほか、100以上の資格・検定(レビュー中含む)が1つのアプリで使い放題です。アプリ内の教材追加画面で「G検定」と検索してください。
※この記事は2026年10月7日時点の公開情報をもとにしています。試験の制度や日程は変わることがあるので、受験前に必ずJDLA公式サイトで確認してください。体験記の引用は各記事の原文から行い、リンク先に出典を明記しています。確認問題はこの記事のために作ったもので、本番の問題の再現ではありません。