
PyTorch深層学習⑭畳み込み層:実践編
前回は、畳み込み層の仕組みを解説しました。今回は、特に画像処理などで使われる2次元畳み込み(nn.Conv2d)を紹介します。
nn.Conv2dでは次のような設定パラメータがあります。
入力チャンネル(in_channels)
出力チャンネル(out_channels)
カーネルサイズ(kernel_size)
ストライド(stride)
パディング(padding)
ダイレーション(dilation)
グループ(groups)
バイアス(bias)
パディングモード(padding_mode)
これらを一つ一つ見ていきます。
デフォルトでは次のような値が設定されます。
import torch.nn as nn
nn.Conv2d(
in_channels,
out_channels,
kernel_size,
stride=1,
padding=0,
dilation=1,
groups=1,
bias=True,
padding_mode='zeros',
device=None,
dtype=None)では、さっそく始めましょう。
入力チャンネル(in_channels)
畳み込み層に入力するテンソルのチャンネル数になります。例えば、RGB画像ならチャンネル数は3です。ネットワークの隠れ層(中間層)ではチャンネル数は増えたり減ったりするので正確な値を指定する必要があります。
conv = nn.Conv2d(
in_channels = 3,
...
)PyTorchの画像データでは、チャンネル・ファーストを使います。バッチの次元がその前に来るので、NCHWと呼ばれます。Nがバッチサイズ、Cがチャンネル数、Hが高さ、Wが幅になります。高さと幅はピクセル数です。
出力チャンネル(out_channels)
畳み込み層から出力されるデータのチャンネル数です。例えば、画像データから64チャンネルの特徴量データへと変換するなら以下のように指定します。
conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
...
)カーネルサイズ(kernel_size)
畳み込みカーネルのサイズを指定します。例えば、以下の画像は3x3のカーネルです。前回、カーネルの仕組みは詳しく解説しました。

3x3のカーネルを使うには次のように指定します。
conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
kernel_size = 3,
...
)カーネルは正方形を使う場合が多いですが、長方形の指定もできます。その際には、kernel_size = (H, W) のように高さ(H)と幅(W)を指定します。
例えば、高さ3ピクセル、幅5ピクセルのカーネルは以下のように指定します。
conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
kernel_size = (3, 5),
...
)ストライド(stride)
ストライドは、カーネルを適用する位置を横にずらすピクセル数を指定します。デフォルトは1なので1ピクセルずつずらした位置にカーネルを適用します。
例えば、5x5のデータがあるとします。これに3x3のカーネルを適用することを考えます。

conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
kernel_size = (3, 3),
stride = 1,
...
)すると、カーネルを適用する位置は、ストライドが1だとすると次のように1ピクセルずつにずらした位置になります。

この結果、生成される出力は3x3のサイズになります。つまり、入力データのサイズより小さくなります。もし、入力データと同じサイズを維持したいのであれば、後述するパディングを使います。
なお、GPUなどを使うと並列処理が可能になるので一つずつずらした場所のすべて同時に処理することができるので高速になります。
ストライドが2だと次の位置にカーネルが適用されます。位置が2ピクセルずつずれた場所になります。

出力サイズは2x2になります。モデルによっては、ストライドを大きくとって出力サイズをわざと小さくすることもあります。
また、ストライドも stride = (H, W) のように高さと幅を別々に指定することもできます。
パディング(padding)とパディングモード(padding_mode)
パディングは入力データの周りに値を追加してサイズを調節するのに使います。パディングモードは、入力データの周りに追加する値を指定します。デフォルトは"zeros"となっており、0の値を使います。他にも可能な値はありますが、今回はデフォルトのままで解説します。
例えば、5x5の入力サイズに対してゼロ・パディングを施すと、以下のように7x7になります。

conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
kernel_size = (3, 3),
stride = 1,
padding = 1,
padding_mode = 'zeros', # デフォルト値
...
)このサイズに3x3のカーネルを適用すると出力サイズが5x5になるので、元の入力データと同じになります。画像データでは0は色の強さがないことになりますが、上図のように1ピクセルを周りに追加するだけならば、カーネルとの掛け合わせて計算する特徴量への影響もあまりありません。
なお、パディングの大きさも指定できます。例えば、padding = 2 ならば、入力データの上下左右に0が2つ追加されます。

よって、入力サイズは5x5から7x7になります。仮に、カーネルサイズが5x5でストライドが1だと、出力サイズは5x5になります。
パディングの値については、この他にも'same'や'valid'がありますが、ここでは割愛します。
ダイレーション(dilation)
ダイレーションはカーネルを適用する際に、適用されるピクセルの間にギャップを入れたい場合に使います。
例えば、以下のGIFアニメーションは、3x3のカーネルを入力サイズの5x5の範囲に適用しています。

これはカーネルの重みの間にダイレーションによってギャップを与えているからです。
conv = nn.Conv2d(
in_channels = 3,
out_channels = 64,
kernel_size = (3, 3),
stride = 1,
padding = 1,
padding_mode = 'zeros', # デフォルト値
dilation = 2,
...
)dilation = 2 とは2ピクセルごとにカーネルの重みを適用するという意味です。デフォルトでは、dilation = 1 なので1ピクセルごと(つまりは毎ピクセル)にカーネルの重みを適用しています。
ダイレーションを使うのは、カーネルのサイズを増やさずにカーネルを適用するサイズを拡大するためです。画像が大きくてピクセル数が多いと、まばらにカーネルを適用しても特徴を十分抽出することができることもあります。
また、細かい特徴と粗い特徴(ダイレーションを増やす)を両方抽出したい場合にも使えます。
グループ(groups)
あまり使うことはないかもしれませんが、入力チャンネルをグループに分けるために使います。
デフォルトは、groups = 1 ですべての入力チャンネルを使って、出力チャンネルが生成されます。
例えば、入力データで4チャンネル、縦横が32x32だとします。つまり、4x32x32です。ゼロパディングを padding=1 で指定すれば、4x34x34です。
これに対して、カーネルが3x3の場合、実際のカーネルのテンソルは、4x3x3になります。これを入力データの左上角に適用して、一つの値が出力されます。つまり、入力データのすべてのチャンネルに対して3x3の範囲のデータとカーネルの重みを掛けて足し合わせています。これを34x34の各位置に適用すると結果として1x32x32の特徴マップができます。
出力チャンネルが64ならば、そのようなカーネルが64個あるわけです。よって最終的には64x32x32の出力になります。これがグループが1の通常のケースです。すべてのカーネルを合わせると、4x3x3x64になります。
グループが2の場合は、チャンネルを二つのグループに分けます。つまり、4x34x34を2x34x34の2つの入力テンソルだと考えます。また、出力チャンネルも2つのグループに分けて考えます。
そして、グループ1の入力から対応する出力グループ1へと畳み込みを行います。また、グループ2の入力から対応する出力グループ2へと畳み込みを行います。よって出力チャンネルが64ならば、グループ1から32の出力チャンネルを生成し、グループ2から32の出力チャンネルを生成して最後に2つの出力を結合します。
この場合、カーネルは2x3x3x32が2つになるので groups=1 の時よりもカーネルの重みの数が少なくなります。
なお、groups = in_channels つまり、グループの数が入力チャンネル数と同じの場合は、各入力チャンネルから出力チャンネルを入力チャンネル分に分けた各出力グループへの畳み込みを行います。
例えば、上述の設定で、groups = 4 とすると、出力チャンネルは64/4 = 16チャンネルごとのグループになるので、各入力チャンネルから各16出力チャンネルのグループへと畳み込みが行われます。この場合、カーネルは1x3x3x16が4つ使われることになります。
これは、MobileNet などが使っていて、Depthwise Separable Convolution(深さ方向の分離可能な畳み込み)と呼ばれます。
バイアス(bias)
バイアスはデフォルトがTrueです。つまり、バイアスの値が使われます。bias = False だとバイアスの値が使われません。
例えば、畳み込みの後にバッチ正規化を適用する場合は、バイアズをつけても正規化されてしまうのであまり意味がありません。そのような時は、bias = False として無駄な計算をしないようにします。
次回予告
次回は、最大値プーリングについて解説します。また、畳み込み、活性化関数、最大値プーリングの組み合わせについても紹介します。
お楽しみに!