ディープラーニングでよく使われる計算として微分があります。微分がわかると、偏微分や勾配についても理解が進むのでディープラーニングの訓練で何が起きているのか理解しやすくなります。
もちろん、微分の計算ができなくともディープラーニングのモデルを構築することはできますが、多くの解説記事などでは微分、偏微分、勾配といった概念が登場するので、ある程度は内容を知っていた方が便利です。
微には「細かい」とか「小さい」という意味があります。分は「分ける」とか「部分」といった言葉に登場します。よって、微分という名前には「小さく分ける」という意味が込められています。
この記事では、微分とは何なのかについて、そして偏微分と勾配との関係を解説します。
関数の変化率と区間
関数の変化率
下のグラフを見てください。yはxの関数です。
y=f(x)

xをx1からx2へと移動すると、yがy1からy2へと値が変わります。この変化率は次のように定義できます。
ΔxΔy=x2−x1y2−y1
ここで、Δy=y2−y1とΔx=x2−x1としています。Δはデルタと呼びます。
変化率と区間
Δxを小さくとると、y2の位置が変わるので変化率も変わります。

Δxが小さくなるほど、変化率ΔxΔyはx1における関数y=f(x)の傾き(接線)へと近づきます。
1次関数
具体的に、関数f(x)として、次の直線を考えます。
y=ax+b
すると変化率は、
ΔxΔy=x2−x1y2−y1=x2−x1(ax2+b)−(ax1+b)=x2−x1a(x2−x1)=a
となり、直線の傾きと同じになります。1次関数では変化率は一定なのでΔxによらず固定値となります。
2次関数
では、次の2次関数ではどうでしょうか。
y=x2
変化率を計算します。
ΔxΔy=x2−x1y2−y1=x2−x1x22−x12=x2−x1(x2−x1)(x2+x1)=x2+x1
y=x2のx1からx2への変化率は、x1+x2であることがわかります。
では、Δxをもっと小さくするとどうなるでしょうか。
微分の計算
区間を極限まで小さく
では区間Δxをどんどん小さくして0へと近づけましょう。

なお、Δxが小さい時はδxと書くことが多いです。δもデルタですが小文字になっています。
変化率は次のように書けます。
δxδy
ここで、δy=y2−y1でδx=x2−x1です。
なのでΔxでもδxでも同じですが、δxだと小さい区間というニュアンスが込められています。
微分の計算
さらに、δxを限りなく0に近づけることを考えます。
δxを限りなく0に近づけた時のδxδyの値を次のように表現します。
δx→0limδxδy
limはリミット(limit)で極限とか限界を意味します。よって、δx→0limとは「δxを限りなく0に近づける」という意味です。
これは関数f(x)のある点における傾きになります。

実は、δx→0limδxδyは微分の計算を意味し、次のようにdxdyという表記をします。
dxdy=dxdf(x)=δx→0limδxδy
これをxによるf(x)の微分と呼びます。
「微分する」とは、f(x)のある点における傾きを計算することを意味します。なお、計算されたものを微分係数とも呼びます。
また、次のように微分を表現する表記にはいろいろあります。
dxdy=y′=dxdf(x)=f′(x)
物理などでは、次のような表記もします。
dxdy=y˙=dxdf(x)=f˙(x)
これらの省略形の表現ができるのは、y=f(x)がxだけに依存する関数だからです。あとで見るように複数の変数がある場合は表記の仕方が変わってきます。
なお、微分の値は関数のある点における傾きなので、計算する時のxの値によって変わります。
よって、x1における微分であることを強調するには次のようも表現できます。
dxdyx=x1=dxdf(x1)=f′(x1)
2次関数の微分
繰り返しますが、2次関数の変化率は次のようになっていました。
ΔxΔy=x2−x1y2−y1=x2−x1x22−x12=x2−x1(x2−x1)(x2+x1)=x2+x1
区間が小さくても同じです。
δxδy=x2−x1y2−y1=x2−x1x22−x12=x2−x1(x2−x1)(x2+x1)=x2+x1
ここでδxを限りなく小さくするとは、x2をx1に限りなく近づけることになります。
dxdyx=x1= x2→x1limδxδy= x2→x1lim(x2+x1)=2x1
となります。つまり、x2のx1における微分は2x1です。
δx=x2−x1ですが、より一般にx1をxで置き換えると、x2=x+δxになり、次のように書き直せます。
dxdf(x)= δx→0limδxδy = δx→0lim(x+(x+δx))=2x
さまざまな関数で、微分を計算することができます。ただし、微分が計算できる関数には条件があります。
微分ができる条件
関数が連続である区間
微分ができるのは、関数f(x)が連続である区間に限ります。
例えば、以下の関数は点x1で不連続なので、x1での微分はできません。他の連続な部分での微分は可能です。

関数が定義できる区間
あと、関数が定義されていない区間で微分はもちろん不可能です。
例えば、関数f(x)=x−11はx=1で定義されていないのでx=1では微分できません。

微分が一定値である
微分の値が一つに定まらないケースも、微分ができません。
例えば、活性化関数としてよく使われるReLUはx=0では微分ができません。
ReLU(x)=max(0,x)

実用ではx=0におけるReLUの微分はdxdReLU(x)x=0=1と決めることで対応します。
偏微分とは
複数変数の関数
偏微分は、関数が複数の変数を持つ場合に各変数に対して定義します。
例えば、関数z=f(x,y)に関してはxとyに対してそれぞれ微分を別々に考えるのですが、これを偏微分と呼びます。
偏微分は次のように定義します。
∂x∂z= ∂x∂f(x,y)=δx→0limδxf(x+δx,y)−f(x,y)
つまり、xでf(x,y)を偏微分する時に、xだけに関して極小の変化を考えますが、それ以外は固定されているとみなします。
そのため、∂という記号を使って、「この関数はxだけに依存するわけではなく他にも変数がある」ことを暗示しています。
同様に、yでf(x,y)を偏微分するのは、次のように定義できます。
∂y∂z= ∂y∂f(x,y)=δy→0limδyf(x,y+δy)−f(x,y)
損失関数の偏微分
もちろん、ニューラルネットワークのように、たくさんのパラメータ(重み)がある場合でも偏微分の考え方は同じです。
それぞれのパラメータに対して損失関数の偏微分を行います。それによって、各パラメータを微調整するとどのくらい損失関数に影響を与えるのかがわかるからです。
例えば、損失関数をパラメータの関数として、loss(w)と表現します。ここで、w=(w1,w2,…,wn)となります。
各パラメータによる損失関数loss(w)の偏微分が計算できれば、どの方向に各パラメータを調整すれば損失値が小さくなるのかがわかります。
損失値が小さくなるようにパラメータw1を調節するの更新式は次のように書けます。
w1←w1−α∂w1∂loss(w)
αは学習率です。
さらに、全てのパラメータの更新式をまとめて表記するには勾配を使います。
勾配とは
勾配とは、ある関数における全ての偏微分をベクトルとしてまとめたものです。計算式がコンパクトになるなどの利点があります。
gradf(x,y)=(∂x∂f(x,y), ∂y∂f(x,y))
また、次のようにナブラ記号を使うこともよくあります。
∇f(x,y)=(∂x∂f(x,y), ∂y∂f(x,y))
これを使うと全てのパラメータの更新を次のように書き表せます。
w← w−α∇loss(w)
なお、数学的に厳密な話でない限り、微分と偏微分と勾配を全て同じような意味合いで使うことが見受けられます。その場合は、文脈で判断するしかありません。
関連記事