
PyTorch深層学習⑮最大値プーリング
前回は、畳み込み層について、特にPyTorchの nn.Conv2d の解説をしました。今回は、畳み込みとよくセットで使われる最大値プーリング(nn.MaxPool2d)について解説します。
まず、最大値プーリングの仕組みを解説し、その後になぜ最大値プーリングを使うのかを説明します。そして、畳み込み、最大値プーリング、活性化関数の組み合わせを含む畳み込みニューラルネットワークの構造を議論します。
では、さっそく始めましょう。
最大値プーリングの仕組み
nn.MaxPool2d の定義は、以下になっています。
nn.MaxPool2d(
kernel_size,
stride=None,
padding=0,
dilation=1,
return_indices=False,
ceil_mode=False)kernel_size は文字通りカーネルのサイズです。よく使われる値は2x2のカーネルです。kernel_size = 2 あるいは kernel_size = (2, 2) と指定できます。
stride は、None がデフォルトです。この場合、kernel_size と同じになります。つまり、2x2の最大値プーリングでは、デフォルトではストライドも2x2となります。
padding, dilation は、畳み込み(nn.Conv2d)のパラメータと同じ意味です。なお、return_indices=True だと、最大値の場所(インデックス)の出力に含めます。ceil_mode=True だと、出力のサイズ(シェイプ)を計算する際に、切り捨てではなく、切り上げを使います。これらのパラメータはあまり使うことはないのでとりあえず存在だけ知っておけばいいでしょう。
では、具体例を見てみましょう。
例えば、以下のような入力データがあるとします。最大値プーリングは、チャンネル毎に行われるので一つのチャンネルだけで考えます。

これに2x2の最大値プーリングを適用するとします。各2x2の範囲から最大値(画像なら最大ピクセル値)を選んで値を抽出します。カーネルを適用する位置は、ストライド2x2でずれた場所になります。つまり、下図で青色の四角で囲まれた各位置から一つの最大値を選びます。

言葉で説明するよりも、GIFアニメでみた方が分かりやすいでしょう。

なお、GPUがあれば、こういった処理も全ての場所で並列して行われます。
以上が、最大値プーリングの基本的な仕組みです。
最大値プーリングを使う理由
最大値プーリングは、各チャンネル毎に行います。
たとえば、入力データの形状がチャンネル・ファーストで(64, 32, 32)のテンソル(64チャンネル、高さ32ピクセル、幅32ピクセル)である場合、2x2の最大値プーリングを適用すると、出力は(64, 16, 16)のテンソルになります。ここで、64チャンネルそれぞれに最大値プーリングが独立して適用されているので、チャンネル数は変わりません。しかし、高さと幅が2分の1になります。
このように、最大値プーリングは特徴マップのサイズを削減します。これを次元削減(Dimensionality Reduction)と呼びます。次元削減により、ネットワークのパラメータ数が減少します。なぜなら、最大値プーリング以降の線形層などが扱うデータの量が減少するので、使われるパラメータ数も減少するからです。また、データ量やパラメータ数が減れば計算効率が向上します。さらに、過学習を防ぐ効果もあります。というのも、パラメータの数が少ないほど、モデルが訓練データに過度に適合して過学習する可能性が低くなるからです。
また、最大値プーリングは、画像の小さな位置変化に対して不変性を提供します。つまり、画像が少し移動または回転しても、最大値プーリング後の出力は大きく変わらないという特性があります。例えば、目と鼻の位置関係は、対象によって多少のずれはあるわけです。細かくて密なデータで判断するよりも、大まかな範囲で代表値を扱った判断の方が理にかなっています。このように位置に縛られすぎない不変性の獲得という意味で、最大値プーリングは物体を認識するタスクにおいて重要な役割を持っています。
さらに、最大値プーリングが、特徴マップ内の最も重要な(最大の)特徴を抽出することで、その特徴の強調をしています。これにより、ネットワークは最も顕著な特徴に焦点を当てることができます。
これらの理由から、最大値プーリングは特に画像関係(画像分類、物体認識)の深層学習における重要なコンポーネントとなっています。特に、畳み込みとの組み合わせで、よく使われます。
畳み込みと活性化関数との組み合わせ
畳み込み、活性化関数、最大値プーリングの組み合わせは、一般的に以下のような流れで行われます。
まず、畳み込み層(Convolutional Layer)が、入力データ(画像や前の層の出力)に対して畳み込み演算を行います。畳み込み演算は、特定のサイズ(例えば、3x3や5x5)のフィルタ(またはカーネル)を入力データ上で、フィルタと対応する入力データの要素ごとの積の合計を計算します。必要ならバイアスも加えます。これにより、新しい特徴マップが生成されます。
畳み込み層は、線形層と全然異なる計算に見えますが、実はそうでもありません。線形層が1次元のデータに対して線形(掛け算と足し算)の計算をするのに対し、畳み込み層では、2次元の範囲のデータに対して線形の計算をします。両方とも線形の計算をしているので、活性化関数を使って非線形性を導入する必要があります。ニューラルネットワークにおける、非線形性の必要性については、こちらで解説しました。
よって、畳み込み層の出力に活性化関数(Activation Function)が適用されます。活性化関数は非線形性をモデルに導入し、モデルがより複雑なパターンを学習することを可能にします。一般的には、ReLU(Rectified Linear Unit)がよく使用されます。ReLUは負の値を0に、正の値はそのままにするというシンプルな関数です。
さらに、最大値プーリング(Max Pooling)を行うことで、特徴マップのサイズを削減し、モデルの不変性を向上させることができます。特定のサイズ(例えば、2x2)のウィンドウを特徴マップに適用し、そのウィンドウ内の最大値を選択することで新しい(縮小された)特徴マップを生成します。ある意味、特徴量が圧縮されることになります。
畳み込み → 活性化 → 最大値プーリング の流れはよく使われるので、一つのブロックとして考えることが多いです。

なお、バッチ正規化を畳み込み層と活性化関数の間に挟むこともあります。このようなブロックを複数回繰り返す場合、ブロック内の全ての層をセットで畳み込み層と呼ぶ場合もあります。
畳み込みニューラルネットワークの構造
畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)は、畳み込み → 活性化 → 最大値プーリング のブロックを複数回繰り返すことで入力データからの特徴量を抽出します。これにより、ネットワークは入力データからより抽象的な特徴を抽出することができます。また、層が多くなるほど高い性能を達成する傾向があります。
そうして得られた特徴量を線形層に通して分類タスクなどを行います。最後の線形層は、ロジットを出力し、確率を計算するならソフトマックスなどを使います。

これが CNN の基本的な仕組みです。
次回予告
次回は、畳み込みニューラルネットワークを実装し画像分類を行います。線形層だけを使った単純な画像分類と比べてより良い結果が出るでしょうか。
お楽しみに!