変分法(Calculus of Variations)は、関数そのものの形を変化させ「最適な値を出す」関数を求める手法です。
この手法は、物理学、工学、経済学など多くの分野で応用されており、機械学習でも重要です。
通常の微分法では、関数 f(x)の形を固定したまま、定義域内で最適な点(極値)を求めます。 一方、変分法では関数そのものを変化させ、最適な関数f(x) を求めます。
また、変分法のためのツールとしてオイラー・ラグランジュ方程式があります。
変分法による汎関数の最適化
汎関数とラグランジアン
汎関数(Functional)とは、「関数そのもの」を入力として受け取り、スカラー値を返す関数のことです。
プログラミングをする方なら、ファンクション(関数)に他のファンクションを与えて計算の中身を実行させるようなことを想像するとわかりやすいかもしれません。要するに汎関数は「関数を入力とする関数」です。
なお、日本語では「汎関数」と「汎函数」の2つの表記がありますが、この記事では「汎関数」を使います。どちらも英語の「Functional」の訳です。
汎関数を理解するために、例として2つの点AとBを結ぶ最短経路を求める問題を考えます。

特に障害などの制約がなければ、この答えはある直線関数になります。

仮にこの答えの関数を知らないとして、関数の形を仮定せずに、最短経路を決める数理的な方法を考えます。つまり、我々の物理的直感「直線が最短」を数学を使って示すということです。
長旅も一歩から始まるというわけで、微小な距離を計算することを考えます。

この微小な距離要素は次のように表現できます。
dS=dx2+dy2
これを地点AからBまで積分すると、経路全体の距離Sが得られます。
S=∫ABdS=∫ABdx2+dy2
地点Aと地点Bの位置は固定されているので、これを(x1,y1)と(x2,y2)とします。
S=∫(x1,y1)(x2,y2)dx2+dy2= ∫x1x21+(dxdy)2 dx
関数表現を明確にするために、y=f(x)と定義し、f′(x)= dxdyを用いて以下のように表現します。
S= ∫x1x21+(f′(x))2 dx
Sは、関数fによって値が決まる(関数を入力とする)ので汎関数です。そのこをとS[f]と表現します。
S[f]=∫x1x21+(f′(x))2 dx
これを最短距離の問題だけでなく、一般的な汎関数の最適化に拡張します。ここでSは中身がわからない関数fとその導関数f′によってきまる値を返す数式として次のように表現できます。
S[f]=∫x1x2L(x,f(x),f′(x)) dx
このL(x,f(x),f′(x))は、関数f(x)やその導関数f′(x)に依存する被積分関数です。これは「ラグランジアン」(Lagrangian)と呼ばれることが多いです。この記事でもLをラグランジアンと呼ぶことにします。
さきほどの最短距離の問題では、ラグランジアンが以下になっていました。
L(x,f(x),f′(x))= 1+(f′(x))2
しかし、この考え方は最短経路問題に限らず、多くの最適化問題に応用できます。
つまり、ラグランジアンの一般形を使って最適化問題を解くためのレシピを見つければ、最短経路の問題に限らず、さまざまな最適化問題を同じ手法で解くことができることになります。
このような汎関数の最適化を行うための手法が変分法です。
変分法と汎関数の最適化
変分法とは、汎関数の変分がゼロとなる条件を求めることで、関数の最適な形を決定する数学的手法です。
これを理解するために、変分という概念を通して汎関数を最適化するとはどういうことなのかを直観的に考えてみます。最適化には最大化と最小化がありますが、引き続き最小化で考えます。
最大化問題は、汎関数にマイナスをつければ最小化問題として扱えます。
最短距離の問題でやりたいことは、S[f]の値を最小化する関数fを決めることでした。

そこで、S[f]を最小化する関数をfminとします。最短距離の問題ならばこれは直線です。
変分法では、最小関数fmin(x)の条件を引き出すために、最小関数fmin(x)に「微小な変化」を与えることを考えます。
青色が最適な直線、紫色のせんが微小に変化したもの汎関数S[f]に対する微小な変化を「汎関数S[f]の変分」と呼びます。これは最小関数fmin(x)に微小な変化δfを与えることで、次のように表現できます。
δS= S[fmin+δf]− S[fmin]
この変分は、最適な関数fmin(x)ではゼロとなり、その近辺で変化します。
次に、この微小な変化δfを数式で次のように表現します。
δf=ϵη(x)
ここでη(x)(エータ)は何か適当な関数です。しかし、乱数などの確率的なものではありません。入力xに対して何らかの値を返す微分可能な関数とします。
また、η(x)は、0でない点が少なくとも 1 つ存在する必要があります。さもなければ変化を与えないことになり意味をなしません。ただし、η(x1)=η(x2)=0とし、両端では変化なしとします。
η(x)は、変化を表すための「試行的な関数」(そんなものがあるとした)と考えてください。具体的な定義は決める必要がありません。後で消える運命です。
また、ϵ(イプシロン)は非常に小さな値です。これにより、δf=ϵηは小さな変化を関数fに与えます。また、δfを関数fの変分と呼びます。
微分dfは、ある点における関数の値の変化ですが、変分δfは関数の形(全体)の変化を表します。
以上より、f(x)をfmin(x)から少しだけずらした場合を考えると、次の関係が成り立ちます。
S[fmin]≤S[fmin+δf]=S[fmin+ ϵη]
ここで、関数の形はϵにだけ依存していることがわかります。まず、fminは最小関数なのでその形は固定です。また、ηも試行的な変化を表す関数なので形は固定です。つまりS[fmin+δf]はϵの関数と見なすことができます。
そこで、次のように書けます。
S[fmin+δf]=S[fmin+ ϵη]=S(ϵ)
これはつまり汎関数S[f]が通常の関数S(ϵ)として表現されたということです。
もちろん、この時点では最小関数fminについては何もわかっていません。
さらに、S(ϵ)はϵ=0で最小化されるはずなので、通常の関数の最適化と同様に、次の条件を課すことができます。
S′(0)= dϵdSϵ=0 =0
この式をラグランジアンを使って展開すると、汎関数の最小値(または停留値)を求めるための方程式を導出できます。そして、この方程式が最適化問題を解くためのレシピを与えます。
その方程式がオイラー・ラグランジュ方程式です。
オイラー・ラグランジュ方程式
最適化の条件を方程式化
オイラー・ラグランジュ方程式(Euler-Lagrange equation)を導出します。ここは数式の変形が続くので最後の結果だけ受け入れても構いません。
まず、汎関数をラグランジアンの一般形で表現した式は以下でした。
S[f]=∫x1x2L(x,f(x),f′(x)) dx
これによって、汎関数の最適化の条件をラグランジアンで展開します。
S′(0)=dϵdSϵ=0= ∫x1x2dϵdLϵ=0dx=0
さらにL(x,f,f′)のϵによる微分を計算します。
dϵdL=∂x∂Ldϵdx+ ∂f∂Ldϵdf+ ∂f′∂Ldϵdf′
xはϵに依存しないので第一項はゼロです。
dϵdL=∂f∂Ldϵdf+ ∂f′∂Ldϵdf′
また、fmin付近では、f=fmin+ϵηとf′=fmin′+ϵη′です。
dϵdL=∂f∂Ldϵd(fmin+ϵη)+ ∂f′∂Ldϵd(fmin′+ϵη′)
しかし、fminとfmin′とηとη′はϵに依存しません。
dϵdL=∂f∂Lη+ ∂f′∂Lη′
さらに、ϵ=0では、f=fminとf′=fmin′が成立します。
dϵdLϵ=0=∂fmin∂Lη+ ∂fmin′∂Lη′
これをS′(0)に代入します。
S′(0)=∫x1x2dϵdLϵ=0dx=∫x1x2(∂fmin∂Lη+ ∂fmin′∂Lη′)dx=∫x1x2∂fmin∂Lη dx+ ∫x1x2∂fmin′∂Lη′ dx
第2項のη′は知らない関数の微分なので、部分積分を使って取り除きます。
∫x1x2∂fmin′∂Lη′ dx=[∂fmin′∂Lη]x1x2− ∫x1x2(dxd∂fmin′∂L)η dx
η(x1)=η(x2)=0としているので、第一項はゼロです。
よって、S′(0)は以下になります。
S′(0)=∫x1x2∂fmin∂Lη dx+ ∫x1x2∂fmin′∂Lη′ dx=∫x1x2∂fmin∂Lη dx−∫x1x2(dxd∂fmin′∂L)η dx=∫x1x2(∂fmin∂L−dxd∂fmin′∂L)ηdx
これがゼロになるのがfminの条件です。ηは知らない関数なのでゼロとは限りません。よって、この条件が成り立つためには括弧の中身が常にゼロである必要があります。
∂fmin∂L−dxd∂fmin′∂L=0
これがオイラー・ラグランジュ方程式です。汎関数Sを最適化する関数fminはこれを満たす必要があります。
しかし、その逆は必ずしも成り立ちません。
グローバル最適解の判別
さて、ある関数fがオイラー・ラグランジュ方程式を満たしたとします。
∂f∂L−dxd∂f′∂L=0
最適な関数は、この方程式を満たす必要があります。つまり、これは最適解が満たすべき必要条件です。しかし、この条件を満たす関数が必ずしも最適解であるとは限りません。したがって、これは十分条件ではありません。
言い換えると、オイラー・ラグランジュ方程式の解が必ずしも汎関数の最小値(あるいは最大値)を与えるとは限りません。
これは通常の関数の微分における極値の議論と似ています。
例えば、関数g(x)の極値を求めるためにdxdg=0を解くと、得られるxは極小点、極大点、または変曲点である可能性があります。
つまり、微分がゼロになることは極値をとるための必要条件ですが、それが極小値(あるいは極大値)であることを保証する十分条件ではありません。
そこで、具体的な問題において、得られた解が本当に最適解(最小値か最大値)であるかを確認するために、次の2階微分S′′(0) を計算します。
S′′(0)=dϵ2d2S(ϵ)ϵ=0
これが正ならば、その解は少なくとも局所的に極小値(下に凸)を与えることが保証されます。また、負ならば極大値です。もしそのような解が一つだけしか存在しないのであれば、これがグローバルな最適解となります。
ただし、複数の解がある場合、それぞれの汎関数S[f]の値を計算し、どれがグローバルな最適解であるかを比較する必要があります。
具体例:最短経路
オイラー・ラグランジュ方程式を解く
では、オイラー・ラグランジュ方程式を最短経路問題に適用して解いてみます。
最短距離の問題では、ラグランジアンが以下のように定義されていました。
L(x,f(x),f′(x))= 1+(f′(x))2
このラグランジアンをオイラー・ラグランジュ方程式に適用します。
∂f∂L−dxd∂f′∂L∂f∂1+(f′)2−dxd∂f′∂1+(f′)2=0=0
第ー項は、1+(f′)2がfの関数ではないのでゼロです。
第二項は、以下のように計算できます。
dxd∂f′∂1+(f′)2= dxd(1+(f′)2f′)
以上より、最短経路問題のオイラー・ラグランジュ方程式は、以下になります。
dxd(1+(f′)2f′)=0
これは、微分の対象がxに依存しない定数であることを意味するので、積分すると以下になります。
1+(f′)2f′=C
Cは、積分定数です。
さらに、この式を f′について解きます。
f′=1−C2C=C1
これも定数なのでC1としました。両辺を積分すると以下になります。
f=C1x+C2
ここで、C2は積分定数です。
これは直線の式であり、点A=(x1,x2)とB=(x2,y2)の値を代入すれば傾きC1と切片C2が決まります。
f(x)=x2−x1y2−y1(x−x1)+y1
この直線がオイラー・ラグランジュ方程式の解であるということは、汎関数に最適値を与える必要条件を満たしていることになります。
グローバル最適解を確認
なお、この解が局所的な最小値を与えることは、S′′(0) を計算することで確認できます。
最短経路問題の汎関数S[f]に対して微小な変化δf=ϵη(x)を加えたとき、S(ϵ)は以下になります。
S(ϵ)=∫x1x21+(f′+ϵη′)2dx
これをϵで一回微分すると、以下になります。
S′(ϵ)=∫x1x2dϵd1+(f′+ϵη′)2 dx=∫x1x21+(f′+ϵη′)2(f′+ϵη′)η′ dx
さらにϵで微分すると、以下になります。
S′′(ϵ)=∫x1x2dϵd1+(f′+ϵη′)2(f′+ϵη′)η′ dx=∫x1x2(1+(f′+ϵη′)2η′2−(1+(f′+ϵη′)2)23(f′+ϵη′)2η′2)dx= ∫x1x21+(f′+ϵη′)2η′2(1−1+(f′+ϵη′)2(f′+ϵη′)2)dx= ∫x1x21+(f′+ϵη′)2η′2(1+(f′+ϵη′)21)dx
ここでϵ=0を代入します。
S′′(0)=∫x1x21+(f′)2η′2(1+(f′)21)dx>0
ηは、0 でない点が少なくとも 1 つ存在する関数なので上記の積分は必ず正となります。したがて、最短経路問題のオイラー・ラグランジュ方程式を満たす関数fによる汎関数の値S(f)は局所的に最小値を持つことが確定します。
さらに、ϵ=0でない点を考えてもS′′(ϵ)が任意のϵに対して常に正であることが確認できます。よって、汎関数Sは全体として下に凸(convex)な関数であり、局所最小値がグローバル最小値であることが保証されます。
以上より、最短経路問題の汎関数S[f]は下に凸であり、オイラー・ラグランジュ方程式の解 f(x)=x2−x1y2−y1(x−x1)+y1 はグローバル最適解であることが証明されました。
繰り返しますが、オイラー・ラグランジュ方程式は汎関数の極値や停留点を求めるための必要条件であり、必ずしも最適値を求めるための十分条件ではありません。しかし、最短経路問題のように汎関数が凸である場合は、局所最小解がグローバル最小解であることが保証されます。
はじめの方で述べたように「直線が最短経路である(直線以外の経路では必ず距離が長くなる)」ことは直感的に明らかですが、変分法とオイラー・ラグランジュ方程式を用いることで、数学的に厳密に証明することができました。
また、この手法は一般性を持ち様々な分野で応用されています。
(以上)