機械学習や物理学の理論では、微分がよく使われるので簡単にまとめました。
スカラーとベクトルと行列
スカラー
スカラー(Scalar)は日常で我々が数値と呼ぶものです。
1.5 , 31 , 103 など
なお、この記事では実数のみを考えます。虚数は扱いません。
ベクトル
ベクトル(Vector)はスカラーを並べたものです。
x=(1.2 , 31 , 103)
なお、上記のベクトルは3つの要素を持つので3次元ベクトルと呼べます。
次元数が1の場合は、多くの場合スカラーと同等とみなします。
また、ベクトルはよく列ベクトルとして表記します。
x= 1.231103
より一般にn個の要素を持つベクトルは以下のように表記できます。
x=x1x2⋮xn
xという表記は、ベクトルの中身を気にしない場合は特に便利です。
行列
行列は、スカラーを縦横に将棋盤のマス目のように並べたものです。
例えば、2行3列(2x 3)の行列Xを考えます。
X=[ 1 −2390.015]
上記のように、行列は大文字で表記することが多いです。
一般に、m行n列の行列は次のように表記します。
X=x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1nx2n⋮xmn
「どちらが行で、どちらが列なのか?」わからなくなったら、学校で整列している様子を思い浮かべてみると、縦に並んだ列のイメージで思い出すかもしれません。
列ベクトルを縦ベクトルと呼ぶこともあります。
スカラー値関数
スカラー入力のスカラー値関数
スカラーを返す関数をスカラー値関数と呼びます。
f(x)=x2+5
このスカラー関数は、入力値xを与えるとx2+5を計算してスカラー値を返します。
なお、スカラー値を指定する変数をスカラー変数と呼びます。つまり、上記のxはスカラー変数です。
ベクトル入力のスカラー値関数
複数の値を受け入れるスカラー関数を考えます。例えば、こんな関数があります。
f(x1,x2)
x1,x2をまとめてベクトルにします。
x=(x1,x2)
これをベクトル変数と呼びます。上記のスカラー関数はベクトル変数を使えば、次のように簡潔に表記できます。
f(x)
この記事では太字でベクトル変数を表現していますが、物理ではxという表記もあります。おそらく、元々は空間内での大きさと方向という意味合いが強かったからだと思われます。
より一般に、複数の値x1,x2,…,xnを受け入れるスカラー値関数は、ベクトル変数x=(x1,x2,…,xn)によって以下のように簡潔に表記できます。
f(x)=f(x1,x2,…,xn)
ただし、入力がスカラーでもベクトルでもスカラーを返すものは全てスカラー値関数になります。
また、ベクトル変数の要素数が1の場合は、入力をスカラーとみなせるので、ベクトル入力による表記ではスカラー入力を含めた一般化した議論が行えます。
行列入力のスカラー値関数
行列を入力とするスカラー値関数f(X)を考えることもできます。
例えば、m×nの行列X中身を全部二乗して足し合わせるのは、行列を入力とするスカラー値関数です。
f(X)=i=1∑mj=1∑nxij2
行列の要素の平均や分散を計算したりするのもよくある例です。
ベクトル値関数
スカラー入力のベクトル値関数
ベクトル値を返す関数をベクトル値関数と呼びます。
例えば、スカラーを入力としてベクトルを返す関数はベクトル値関数です。
f(x)=(x2,2x+1)
ここで、関数を太字にしてベクトル値を返すことを表現しました。ただし、太字になっていないことも多く、ほとんどは文脈から判断できるのでそれでも問題ありません。
より一般的に、f(x)がn個の要素を持つベクトルを返すならば次のようにも表記できます。
f(x)=(f1(x), f2(x), … , fn(x))
それぞれの要素に、スカラーを入力とする異なるスカラー値関数があることになります。
ベクトル入力のベクトル値関数
ベクトル入力の例として、2次元ベクトルの変数x=(x1,x2)を入力として、次のようなベクトル値関数も考えられます。
f(x)=(x12, x1x2,2x2+1)
ベクトルの入力を受けて、別のベクトルを返しています。
より一般的に、f(x)がn個の要素を持つベクトルを返すならば次のようにも表記できます。
f(x)=(f1(x), f2(x), … , fn(x))
それぞれの要素に、ベクトルを入力とする異なるスカラー値関数があることになります。
ちょっと話はそれますが、入力ベクトルが空間の位置(位置ベクトル)である場合、その関数は「場」(field)と呼ばれることがあります。特に物理では、位置ベクトルを入力とする関数を「場」と呼ぶことが多いです。
スカラー場 (scalar field):空間内の各点にスカラー値を対応させる関数。
例:温度分布、圧力分布
ベクトル場 (vector field):空間内の各点にベクトル値を対応させる関数。
例:電場、磁場
列ベクトルでベクトル値関数を表記すれば以下になります。
f(x)= f1(x)f2(x)⋮fm(x)
機械学習では、線形変換がよく使われます。その場合の関数は行列とベクトルの積などで表現できます。
f(x)=Wx+b=w11w21⋮wm1w12w22⋮wm2⋯⋯⋱⋯w1nw2n⋮wmn x1x2⋮xn+b1b2⋮bm=w11x1+w12x2 +⋯ +w1nxn +b1w21x1+w22x2 +⋯ +w2nxn +b2⋮wm1x1+wm2x2 +⋯+wmnxn+bm
これもベクトルを入力としてベクトルを返しているのでベクトル値関数です。
行列入力のベクトル値関数
行列を入力とするベクトル値関数f(X)を考えることもできます。例えば、行列X内の要素の平均と分散をベクトルとして返す関数などが考えられます。
他にも、線形変換における重みやバイアスを入力の変数ととらえる場合があります。これは前述の線形変換と中身は同じですが、入力が異なります。
f(W,b)=Wx+b
ここで、xは関数の一部(固定値)として扱われています。このように重み行列Wとバイアスbを入力変数として扱うのは、後で勾配の計算の時に登場します。
行列値関数
スカラー入力の行列値関数
行列を返す関数を行列値関数と呼びます。
例えば、2次元空間の回転行列は、角度θを入力として取り、回転行列 R(θ)を出力します:
R(θ)=[cosθsinθ−sinθcosθ]
ここで、入力はスカラー値のθですが、出力は2×2の行列です。この行列は、2次元のベクトルをθラジアン回転させるために使われます。
スカラーを入力とする行列値関数は一般に以下のように表記できます。
F(x)= f11(x)f21(x)⋮fm1(x) f12(x) f22(x)⋮ fm2(x)⋯⋯⋱⋯ f1n(x) f2n(x)⋮ fmn(x)
各要素として、スカラー入力のスカラー値関数があることになります。
ベクトル入力の行列値関数
ベクトルを入力とする行列値関数は一般に以下のように表記できます。
F(x)= f11(x)f21(x)⋮fm1(x) f12(x) f22(x)⋮ fm2(x)⋯⋯⋱⋯ f1n(x) f2n(x)⋮ fmn(x)
各要素として、ベクトル入力のスカラー値関数があることになります。
行列入力の行列値関数
行列を入力とする行列値関数は一般に以下のように表記できます。
F(X)=f11(X)f21(X)⋮fm1(X) f12(X) f22(X)⋮ fm2(X)⋯⋯⋱⋯ f1n(X) f2n(X)⋮ fmn(X)
各要素として行列入力のスカラー値関数があることになります。
スカラー変数による微分
スカラー値関数をスカラー変数で微分
例えば次のようなスカラー値関数があるとします。
f(x)=x2+1
この関数は、一つのスカラー変数xに依存しています。これを、xで微分すると以下になります。
dxdf(x)=2x
このように、微分される関数f(x)が一つの変数xにのみ依存する場合の微分を常微分と呼びます。
なお、微分の仕組みについては、こちらで解説しています。
スカラー値関数が複数の変数に依存する場合に、その中の一つの変数で微分することを偏微分と呼び、以下のように表記します。
∂xi∂f(x)
ここでは、入力ベクトルx=(x1,x2,…, xi,…)の中のxi以外は固定されている(つまり、xiに依存しないので数値と同じ)扱いになっています。
例えば、次のようなベクトル入力のスカラー関数を考えます。
f(x)=x12+x1x2+x2+1ここで、x=(x1,x2)
これをx1で偏微分してみましょう。この時、x2は固定されている(つまりx1に依存しないので数字と同じ扱い)になります。よって、以下のように計算できます。
∂x1∂f(x)=2x1+x2
x2で偏微分すると以下になります。
∂x2∂f(x)=x1+1
ベクトル値関数をスカラー変数で微分
ベクトル値関数の微分では、出力ベクトルの各要素(関数)を微分します。
スカラー入力のベクトル値関数f(x)の微分は以下の常微分になります。
dxdf(x)= dxdf1(x)dxdf2(x)⋮dxdfm(x)
ベクトル入力のベクトル値関数f(x)を、入力の1要素(変数xi)で部分するなら偏微分になります。
∂xi∂f(x)= ∂xi∂f1(x)∂xi∂f2(x)⋮∂xi∂fm(x)
行列値関数をスカラー変数で微分
スカラー入力の行列値関数の微分は、出力行列の各要素(関数)を常微分します。
dxdF(x)= dx∂f11(x)dx∂f21(x)⋮dx∂fm1(x) dxdf12(x) dxdf22(x)⋮ dxdfm2(x)⋯⋯⋱⋯ dxdf1n(x) dxdf2n(x)⋮ dxdfmn(x)
入力がベクトル変数で、そのうちの一つの要素で微分するなら偏微分になります。
∂xi∂F(x)= ∂xi∂f11(x)∂xi∂f21(x)⋮∂xi∂fm1(x) ∂xi∂f12(x) ∂xi∂f22(x)⋮ ∂xi∂fm2(x)⋯⋯⋱⋯ ∂xi∂f1n(x) ∂xi∂f2n(x)⋮ ∂xi∂fmn(x)
ベクトル変数による微分
スカラー値関数をベクトル変数で微分
スカラー値関数をベクトル変数で微分するのは、ベクトルの要素ごとにそのスカラー値関数を偏微分することです。
∂x∂f(x)= ∂x1∂f(x)∂x2∂f(x)⋮∂xn∂f(x)
これは勾配(gradient)とも呼ばれ、次のように表記することが多いです。
∇f(x)= ∂x1∂∂x2∂⋮∂xn∂f(x)
この記号∇はナブラ記号と呼ばれます。偏微分の記号をベクトルの中に入れて関数自体は外に表記しています。これで勾配が簡単に表記できます。
また、機械学習の論文などでは、これを常微分として表記することがあります。例えば、ニューラルネットワークのパラメータの更新式を以下のように表現します。
θ⇐θ−αdθdL(θ)
ここで、θはニューラルネットワークのパラメータ(重み、バイアスなど)を全てまとめたベクトルで、L(θ)は損失関数です。dθdL(θ)は、∇L(θ)と同じ意味で使われています。
また、αは学習率であり、上式は勾配降下法における更新式を意味します。文脈から偏微分が行われているのは明らかです。
dθdL(θ)= ∂θ1∂L(θ)∂θ2∂L(θ)⋮∂θn∂L(θ)
同じことを丸括弧で、dθdL(θ)=(∂θ1∂L(θ),∂θ2∂L(θ),⋯, ∂θn∂L(θ))とも書きます。ただし、これは列ベクトル(縦ベクトル)と同等であり、横ベクトルではありません。これも文脈で判断できる場合が大抵です。
ナブラ記号を使うのが単純明快かどうかは、個人の好みによるでしょう。
θ⇐θ−α∇L(θ)
同じことをgradとも表記します。これはgradientの略です。
θ⇐θ−α grad L(θ)
ベクトル値関数をベクトル変数で微分
出力がm次元のベクトル値関数を、n次元の入力ベクトルで微分すると、m×n個の偏微分を要素に持つ行列になります。
これをヤコビ行列(Jacobian matrix)と呼び、次のように表記します。
Jf=∂x∂f(x)= ∂x1∂f1∂x1∂f2⋮∂x1∂fm∂x2∂f1∂x2∂f2⋮∂x2∂fm⋯⋯⋱⋯∂xn∂f1∂xn∂f2⋮∂xn∂fm
一見複雑ですが、順番に考えるとそうでもありません。まず、出力がm次元のベクトル値関数は次のように書くことが出来ます。
f(x)= f1(x)f2(x)⋮fm(x)
この各要素はスカラー関数です。これをn次元の入力ベクトルで微分します。
∂x∂f1(x)∂x∂f2(x)⋮∂x∂fm(x)=(∂x1∂f1(x),∂x2∂f1(x) , ⋯ , ∂xn∂f1(x))=(∂x1∂f2(x),∂x2∂f2(x) , ⋯ , ∂xn∂f2(x))=(∂x1∂fm(x),∂x2∂fm(x),⋯, ∂xn∂fm(x))
ここで入力ベクトルxが繰り返されているので省略して、結果を行列形式にまとめたのがヤコビ行列になります。
よって、ヤコビ行列Jfはm×nの行列として表現され、各要素が偏微分∂xj∂fiになっています。
なお、ヤコビ行列を∂x∂f(x)やDf(x)やDxfとも表記します。大抵は文脈からヤコビ行列であることは明白です。
Wx を x で微分
ベクトル値関数をベクトル変数で微分する特別なケースとして、線形変換f(x)=Wxを入力ベクトルxで微分することを考えます。
ベクトル値関数をベクトル変数で微分するので、f(x)のヤコビ行列になりますが、線形変換なので結果が単純になります。
まず、関数の中身を展開して表現します。
f(x)=Wx=w11x1+w12x2 +⋯ +w1nxnw21x1+w22x2 +⋯ +w2nxn⋮wm1x1+wm2x2+⋯+wmnxn
この各行はスカラー値関数です。これをベクトルxで微分します。
∂x∂(w11x1+w12x2 +⋯ +w1nxn)∂x∂(w21x1+w22x2 +⋯ +w2nxn)⋮∂x∂(wm1x1+wm2x2 +⋯ +wmnxn)=(w11,w12,⋯,w1n)=(w21,w22,⋯,w2n)=(wm1,wm2,⋯,wmn)
これを行列にまとめるとWと同じです。よって、結果は以下になります。
∂x∂ Wx=W
当たり前の結果に見えますが、知らないと戸惑う可能性があります。
注意点
ベクトルや行列の微分結果の表記方法を選択するオプションとして「分子レイアウト」と「分母レイアウト」という二つの表示形式があります。ここで、分子と分母とは∂x∂yのyとxのことを指します。
yの要素数がm、xの要素数がnの時、微分の結果をm×n行列で表示する方法を分子レイアウトと呼びます。この場合、微分の結果はyの成分が行方向(縦方向)、xの成分が列方向(横方向)に並びます。上述のヤコビ行列の説明はこれに従っています。
一方、分母レイアウトはこの行列を転置して、xの成分が行方向(縦方向)、yの成分が列方向(横方向)に並ぶn×m行列で表現する方式です。
よって、文献によっては、∂x∂ Wx=W⊤と表記している場合もあります。
参考:https://en.wikipedia.org/wiki/Matrix_calculus行列による微分
スカラー値関数を行列で微分
行列を入力とするスカラー値関数を、その入力行列で微分することを考えます。この場合、行列の各要素(変数)に対してスカラー値関数の偏微分を計算します。
例えば、スカラー値関数f(X)の入力Xがm×nの行列とすると、fをXの要素wijごとに偏微分することで、m×nの行列が得られます。
∂X∂f= ∂x11∂f∂x21∂f⋮∂xm1∂f∂x12∂f∂x22∂f⋮∂xm2∂f⋯⋯⋱⋯∂x1n∂f∂x2n∂f⋮∂xmn∂f
結果として、元の行列と同じ形(m×n)の行列になります。また、このような行列を、一般に勾配行列(gradient matrix)と呼びます。
この勾配行列は、入力行列の各要素に対するスカラー関数の感度(偏微分)を示しています。
ベクトル値関数を行列で微分
行列Xを入力とするベクトル値関数f(X)をXで微分することを考えます。
まず、ベクトル値関数 f(X)の出力を、p個の要素を持つベクトルとして以下のように表現します。
f(X)= f1(X)f2(X)⋮fp(X)
ここでの目標は、ベクトル値関数 f(X)の各成分の偏微分を行列Xの各要素xijに対して求めることです。よって、行列Xがm×nだとすると、全部でp×m×n個の偏微分が必要となります。
その要素となる偏微分を一般形で書くと以下になります。
∂xij∂fk(X)
これを3次元のテンソルの要素として次のように表現します。
(∂X∂f(X))kij=∂xij∂fk(X)
これはf(X)に対するヤコビ行列に相当しますが、入力が行列なので結果としては3次元のテンソルになります。
こういう計算はPyTorchとかにやってもらうのが最善です。
Wx を W で微分
ベクトル値関数を行列で微分する特別なケースとして、ベクトル値関数f(W)=Wxを入力行列Wで微分することを考えます。
まず、関数の中身を展開して表現します。
f(W)= f1(W)f2(W)⋮fm(W)= w11x1+w12x2 +⋯ +w1nxnw21x1+w22x2 +⋯ +w2nxn⋮wm1x1+wm2x2+⋯+wmnxn
f(W)の1行目f1(W)だけを入力行列Wの各要素wijで偏微分すると以下になります。
∂W∂f1(W)= ∂w11∂f1(X)∂w21∂f1(X)⋮∂wm1∂f1(X) ∂w12∂f1(X) ∂w22∂f1(X) ⋮ ∂wm2∂f1(X) ⋯⋯⋱⋯ ∂w1n∂f1(X) ∂w2n∂f1(X)⋮ ∂wmn∂f1(X)= x10⋮0x20⋮0⋯⋯⋱⋯xn0⋮0
このような結果になるのは、f1(W)に関連するのが行列Wの1行目の成分だけだからです。同じことをf(W)の2行目f2(W)だけを入力行列Wの各要素wijで偏微分すると以下になります。
∂W∂(Wx)2= ∂W∂f2(W)= ∂w11∂f2(X)∂w21∂f2(X)⋮∂wm1∂f2(X) ∂w12∂f2(X) ∂w22∂f2(X) ⋮ ∂wm2∂f2(X) ⋯⋯⋱⋯ ∂w1n∂f2(X) ∂w2n∂f2(X)⋮ ∂wmn∂f2(X)= 0x10⋮00x20⋮0⋯⋯⋯⋱⋯0xn0⋮0
つまり、f(W)のどの行をWで微分しても、出てくるのは同じx⊤をどこかの行に1回だけ含んであとの行は全て0の行列です。なお、⊤は転置を意味します。
x⊤=x1x2⋮xn⊤=[x1x2⋯xn]
機械学習では、このような場合は3次元のテンソルとしてではなく、単にx⊤として扱うことが多いです。
∂W∂(Wx)=x⊤
x⊤のみを用いることで十分に勾配の情報を得ることができるのは、重みwijに関する偏微分の結果が対応するj番目の入力要素xjになるからです。これは、重み行列のどの行iがどこであっても同じです。
なお、この簡略化は計算効率を高める役割も果たします。
関連記事