ラグランジュの未定乗数法｜定理の証明と計算例・仮定が外れる場合

制約 $g=0$ の上で $f$ の極値を探すとき、候補になるのは 2 つの勾配が平行になる点である。

$$\nabla f=\lambda \nabla g$$

この $\lambda$ を未定乗数という。値は最後に決まるので、最初は未知数として置いたまま連立方程式を解く。

以下では定理の主張と証明を確かめ、仮定が外れる例を見たうえで、計算例を 1 例ずつ節に分けて並べる。

定理の主張

$f$ と $g$ を $C^1$ 級とする。点 $a$ が $g(a)=0$ を満たし、$\nabla g(a)\ne 0$ であるとする。

制約 $g=0$ の上で $f$ が $a$ で極値を取るなら、ある実数 $\lambda$ が存在して次が成り立つ。

$$\nabla f(a)=\lambda \nabla g(a)$$

仮定は 2 つある。$g$ の勾配が $a$ で消えないことと、$a$ が制約の上での極値点であることである。結論が言えるのは勾配の関係だけで、その点が最大か最小かまでは何も言わない。

幾何的な意味

$f$ の等高線と制約曲線が横切っているとしよう。曲線に沿って少し動けば、より高い等高線にも低い等高線にも移れる。だからその点は極値ではない。

極値になりうるのは、等高線と制約曲線が接している点だけである。接するとは、法線方向がそろうということで、それが $\nabla f\parallel \nabla g$ の意味になる。

<svg viewBox="0 0 460 250" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<ellipse cx="200" cy="130" rx="30" ry="20" fill="none" stroke="#c8c8c8" stroke-width="1"></ellipse>
	<ellipse cx="200" cy="130" rx="60" ry="40" fill="none" stroke="#c8c8c8" stroke-width="1"></ellipse>
	<ellipse cx="200" cy="130" rx="90" ry="60" fill="none" stroke="#1b81e0" stroke-width="1.2"></ellipse>
	<ellipse cx="200" cy="130" rx="120" ry="80" fill="none" stroke="#c8c8c8" stroke-width="1"></ellipse>
	<line x1="164" y1="21" x2="380" y2="166" stroke="#1f1f1f" stroke-width="1.5"></line>
	<line x1="264" y1="88" x2="286" y2="55" stroke="#d0562a" stroke-width="1.5"></line>
	<circle cx="264" cy="88" r="3.5" fill="#d0562a"></circle>
	<text x="55" y="26" font-size="11" fill="#1f1f1f">等高線と制約曲線が接する点だけが候補になる</text>
	<text x="292" y="52" font-size="11" fill="#d0562a">法線がそろう</text>
	<text x="76" y="196" font-size="11" fill="#1b81e0">f の等高線</text>
	<text x="330" y="182" font-size="11" fill="#1f1f1f">制約 g = 0</text>
	<text x="55" y="238" font-size="11" fill="#9a9a9a">横切っているだけなら、曲線に沿って動いて値を変えられる</text>
</svg>

証明

$2$ 変数の場合を示す。$a=(a_1,a_2)$ とし、$\nabla g(a)\ne 0$ から $g_y(a)\ne 0$ としてよい。そうでなければ $x$ と $y$ の役割を入れ替える。

陰関数定理から、$a$ の近くで制約 $g(x,y)=0$ は $y=\phi (x)$ の形に解ける。$\phi$ は $C^1$ 級で、微分は次の式で与えられる。

$${\phi }^{\prime }(a_1)=-\frac{g_x(a)}{g_y(a)}$$

制約の上での $f$ の値は、1 変数関数 $F(x)=f(x,\phi (x))$ として書ける。$a$ が制約の上での極値点なら、$F$ は $a_1$ で極値を取る。

$F$ は微分可能なので $F^{\prime }(a_1)=0$ である。連鎖律で展開する。

$$F^{\prime }(a_1)=f_x(a)+f_y(a){\phi }^{\prime }(a_1)=f_x(a)-f_y(a)\frac{g_x(a)}{g_y(a)}=0$$

ここで $\lambda =\frac{f_y(a)}{g_y(a)}$ と置く。上の式から $f_x(a)=\lambda g_x(a)$ が出て、$\lambda$ の定め方から $f_y(a)=\lambda g_y(a)$ も成り立つ。

2 本を合わせれば $\nabla f(a)=\lambda \nabla g(a)$ である。変数が増えても、陰関数定理で 1 つの変数を消す筋道は変わらない。

必要条件でしかない

定理が与えるのは候補だけである。連立方程式を解いて出てきた点が、最大なのか最小なのか、そもそも極値なのかは別に判定する。

判定の道具として使いやすいのは、有界閉集合の上の連続関数が最大値と最小値を取るという事実である。制約が有界閉集合を定めるなら、候補の中で値がいちばん大きいものが最大、小さいものが最小になる。

制約が有界でない場合は、この論法が使えない。候補が最大でも最小でもないことがあるし、そもそも最大値が存在しないこともある。

勾配が消える点は別に調べる

$\nabla g(a)=0$ の点では、定理の仮定が外れる。そこが極値点であっても、勾配の平行という関係は成り立たない。

制約を $g(x,y)=y^2-x^3=0$ とし、$f(x,y)=x$ を最小化してみる。制約は $y^2=x^3$ なので $x\ge 0$ であり、最小値は原点で取る。

$$\nabla g=(-3x^2,2y),\nabla g(0,0)=(0,0)$$

一方 $\nabla f=(1,0)$ である。$(1,0)$ が $(0,0)$ の定数倍になることはないので、$\nabla f=\lambda \nabla g$ は成り立たない。

原点は確かに最小点だが、未定乗数法の候補には決して現れない。制約曲線がこの点で尖っていることが原因である。

<svg viewBox="0 0 460 240" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<line x1="200" y1="30" x2="200" y2="205" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="260" y1="30" x2="260" y2="205" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="320" y1="30" x2="320" y2="205" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="150" y1="30" x2="150" y2="205" stroke="#d0562a" stroke-width="1.2"></line>
	<polyline points="218,208 203,181 190,160 170,134 156,123 150,120 156,117 170,106 190,80 203,59 218,32" fill="none" stroke="#1f1f1f" stroke-width="1.8"></polyline>
	<circle cx="150" cy="120" r="3.5" fill="#d0562a"></circle>
	<text x="55" y="26" font-size="11" fill="#1f1f1f">制約曲線が尖っていると、勾配が平行にならないまま最小になる</text>
	<text x="86" y="124" font-size="11" fill="#d0562a">最小点</text>
	<text x="228" y="200" font-size="11" fill="#1f1f1f">制約 g = 0</text>
	<text x="318" y="222" font-size="11" fill="#9a9a9a">f の等高線</text>
	<text x="55" y="234" font-size="11" fill="#9a9a9a">この点では g の勾配が 0 になり、定理の仮定が外れている</text>
</svg>

制約が複数ある場合

制約が $g_1=\cdots =g_m=0$ と複数あるときは、乗数も同じ数だけ用意する。

$$\nabla f={\lambda }_1\nabla g_1+\cdots +{\lambda }_m\nabla g_m$$

仮定は $\nabla g_1,\dots ,\nabla g_m$ が 1 次独立であることである。1 本の場合の $\nabla g\ne 0$ が、この形に一般化される。

1 次独立でない点では、やはり定理が使えない。制約どうしが接している点がそれにあたる。

ラグランジュ関数として書き直す

次の関数を作れば、条件をまとめて書ける。

$$L(x,y,\lambda )=f(x,y)-\lambda g(x,y)$$

$L$ を $x$ と $y$ で偏微分して $0$ と置けば $\nabla f=\lambda \nabla g$ が出る。$\lambda$ で偏微分して $0$ と置けば $-g=0$、つまり制約そのものが出る。

問題 1：直線上で原点にいちばん近い点

$f(x,y)=x^2+y^2$ を制約 $x+y=1$ のもとで最小にせよ。

解答 1

$g=x+y-1$ と置く。$\nabla g=(1,1)\ne 0$ なので定理が使える。

$$(2x,2y)=\lambda (1,1)$$

$2x=\lambda$、$2y=\lambda$ から $x=y$ である。制約に入れて $x=y=\frac{1}{2}$ を得る。

候補はこの 1 点だけである。$x+y=1$ は閉集合だが有界ではないので、最大最小の存在から結論するわけにはいかない。

そこで直接評価する。$x+y=1$ の上で $x^2+y^2=2x^2-2x+1=2{\left(x-\frac{1}{2}\right)}^2+\frac{1}{2}$ となり、$x=\frac{1}{2}$ で最小である。

$$f\left(\frac{1}{2},\frac{1}{2}\right)=\frac{1}{2}$$

問題 2：単位円周上の積

$f(x,y)=xy$ を制約 $x^2+y^2=1$ のもとで最大化・最小化せよ。

解答 2

$\nabla g=(2x,2y)$ は制約の上で $0$ にならない。原点は制約を満たさないからである。

$$(y,x)=\lambda (2x,2y)$$

$x=0$ とすると第 1 式から $y=0$ となり、制約に反する。したがって $x\ne 0$、同様に $y\ne 0$ である。

第 1 式を第 2 式に代入する。

$$x=2\lambda y=2\lambda (2\lambda x)=4{\lambda }^{2}x$$

$x\ne 0$ より $\lambda =\pm \frac{1}{2}$ である。$\lambda =\frac{1}{2}$ なら $y=x$ で、制約から $x=y=\pm \frac{1}{\sqrt{2}}$、このとき $f=\frac{1}{2}$ になる。

$\lambda =-\frac{1}{2}$ なら $y=-x$ で、$f=-\frac{1}{2}$ である。

単位円は有界閉集合なので最大値と最小値が存在する。候補は 4 点だけなので、比べて最大 $\frac{1}{2}$、最小 $-\frac{1}{2}$ と決まる。

問題 3：球面上の座標の和

$f(x,y,z)=x+y+z$ を制約 $x^2+y^2+z^2=1$ のもとで最大化せよ。

解答 3

$$(1,1,1)=\lambda (2x,2y,2z)$$

$\lambda =0$ とすると $1=0$ になるので $\lambda \ne 0$ である。したがって $x=y=z=\frac{1}{2\lambda }$ となる。

制約に入れる。

$$3\cdot \frac{1}{4{\lambda }^2}=1⟹\lambda =\pm \frac{\sqrt{3}}{2}$$

$\lambda =\frac{\sqrt{3}}{2}$ なら $x=y=z=\frac{1}{\sqrt{3}}$ で $f=\sqrt{3}$、符号を変えれば $f=-\sqrt{3}$ である。

球面は有界閉集合なので、最大値は $\sqrt{3}$、最小値は $-\sqrt{3}$ である。これはコーシー・シュワルツの不等式が与える上限と一致している。

問題 4：制約が 2 本ある場合

$f(x,y,z)=x^2+y^2+z^2$ を制約 $x+y+z=1$ と $x-y+2z=2$ のもとで最小にせよ。

解答 4

乗数を 2 つ用意する。$\nabla g_1=(1,1,1)$ と $\nabla g_2=(1,-1,2)$ は 1 次独立なので、仮定は満たされている。

$$(2x,2y,2z)=\lambda (1,1,1)+\mu (1,-1,2)$$

成分ごとに書く。

$$2x=\lambda +\mu ,2y=\lambda -\mu ,2z=\lambda +2\mu$$

これを制約に代入する。第 1 の制約からは $3\lambda +2\mu =2$、第 2 の制約からは $\lambda +3\mu =2$ が出る。

連立して $\mu =\frac{4}{7}$、$\lambda =\frac{2}{7}$ を得る。戻して座標を求める。

$$(x,y,z)=\left(\frac{3}{7},-\frac{1}{7},\frac{5}{7}\right)$$

制約は 2 枚の平面の交わりで、直線である。原点からの距離の 2 乗は直線上で下に凸なので、唯一の停留点が最小を与える。

$$f=\frac{9+1+25}{49}=\frac{35}{49}=\frac{5}{7}$$

問題 5：閉領域の内部と境界を分けて調べる

$f(x,y)=x+2y$ を $D=\{x^2+y^2\le 1\}$ の上で最大にせよ。

解答 5

制約が不等式のときは、内部と境界を分ける。内部では制約がないので、ふつうの停留点を探す。

$$\nabla f=(1,2)\ne (0,0)$$

内部に停留点はない。したがって最大は境界 $x^2+y^2=1$ の上にある。

$$(1,2)=\lambda (2x,2y)$$

$\lambda \ne 0$ なので $x=\frac{1}{2\lambda }$、$y=\frac{1}{\lambda }$ となり、$y=2x$ である。制約に入れて $5x^2=1$ を得る。

$x=\frac{1}{\sqrt{5}}$、$y=\frac{2}{\sqrt{5}}$ のとき $f=\sqrt{5}$、符号を変えれば $f=-\sqrt{5}$ である。

$D$ は有界閉集合なので最大値が存在し、それは $\sqrt{5}$ である。

問題 6：表面積を固定して体積を最大にする

表面積 $S=2(xy+yz+zx)$ を一定に保つとき、体積 $V=xyz$ を最大にする直方体の形を求めよ。ただし $x,y,z>0$ とする。

解答 6

$$(yz,xz,xy)=2\lambda (y+z,x+z,x+y)$$

第 1 式から第 2 式を引く。

$$yz-xz=2\lambda (y-x)⟹(y-x)(z-2\lambda )=0$$

同じ操作を第 2 式と第 3 式、第 1 式と第 3 式に行うと、$(z-y)(x-2\lambda )=0$ と $(z-x)(y-2\lambda )=0$ が出る。

$x\ne y$ と仮定すると、最初の式から $z=2\lambda$ である。2 番目の式から $z=y$ または $x=2\lambda$ になる。

$z=y$ の場合、第 3 式は $xy=2\lambda (x+y)=y(x+y)$ となり、$y^2=0$ から $y=0$ が出る。正であることに反する。

$x=2\lambda =z$ の場合、第 2 式は $xz=2\lambda (x+z)$ すなわち $x^2=2x^2$ となり、$x=0$ に落ちる。これも不可である。

したがって $x=y$ であり、同じ議論で $y=z$ も出る。立方体のときに体積が最大になる。

対称性から結論を予想するだけでは証明にならない。ほかに解がないことを、上のように場合分けで潰しておく必要がある。

問題 7：原点から平面までの距離

原点から平面 $2x+y-2z=9$ までの最短距離を求めよ。

解答 7

距離の 2 乗 $f=x^2+y^2+z^2$ を、この平面の上で最小にする。

$$(2x,2y,2z)=\lambda (2,1,-2)$$

$x=\lambda$、$y=\frac{\lambda }{2}$、$z=-\lambda$ となる。制約に代入する。

$$2\lambda +\frac{\lambda }{2}+2\lambda =\frac{9\lambda }{2}=9⟹\lambda =2$$

したがって $(x,y,z)=(2,1,-2)$ で、距離は $\sqrt{4+1+4}=3$ である。

点と平面の距離の公式でも確かめられる。

$$\frac{|9|}{\sqrt{2^2+1^2+(-2{)}^2}}=\frac{9}{3}=3$$

公式そのものが、この計算を一般の平面について実行した結果である。

問題 8：2 次形式の最大値と固有値

$f(x,y)=2x^2+2xy+2y^2$ を制約 $x^2+y^2=1$ のもとで最大化・最小化せよ。

解答 8

$$(4x+2y,2x+4y)=\lambda (2x,2y)$$

両辺を $2$ で割ると、行列を使った形になる。

$$\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=\lambda \left(\begin{array}{c}x\\ y\end{array}\right)$$

未定乗数 $\lambda$ が、そのままこの行列の固有値になっている。固有方程式は $(2-\lambda {)}^2-1=0$ で、解は $\lambda =3,1$ である。

$\lambda =3$ の固有ベクトルは $(1,1)$ の向きで、単位化して代入すると $f=3$ になる。$\lambda =1$ の向きは $(1,-1)$ で、$f=1$ である。

単位円は有界閉集合なので、最大値 $3$、最小値 $1$ と決まる。

対称行列で書ける 2 次形式では、単位球面上の最大値が最大固有値、最小値が最小固有値になる。未定乗数法は、この事実の証明そのものになっている。

問題 9：最大エントロピー

$H=-{\sum }_{i=1}^n{p}_i\ln p_i$ を制約 $\sum p_i=1$、$p_i>0$ のもとで最大にせよ。

解答 9

$H$ を $p_i$ で偏微分する。

$$\frac{\partial H}{\partial p_i}=-\ln p_i-1$$

制約の勾配はすべての成分が $1$ なので、条件は次の形になる。

$$-\ln p_i-1=\lambda (i=1,\dots ,n)$$

右辺が $i$ によらないので、$p_i=e^{-1-\lambda }$ もすべて等しい。制約 $\sum p_i=1$ から $p_i=\frac{1}{n}$ である。

候補はこの 1 点だけである。$H$ は上に凸な関数の和なので、この点が最大を与える。一様分布が最大のエントロピーを持つ、という主張になる。

問題 10：楕円上で直線から最も遠い点

楕円 $\frac{x^2}{4}+y^2=1$ の上で、直線 $x+y=0$ からの距離が最大になる点を求めよ。

解答 10

距離は $\frac{|x+y|}{\sqrt{2}}$ なので、$f=x+y$ の絶対値を最大にすればよい。

$$(1,1)=\lambda \left(\frac{x}{2},2y\right)$$

$\lambda \ne 0$ である。2 式から $\frac{x}{2}=2y$、つまり $x=4y$ を得る。制約に入れる。

$$\frac{16y^2}{4}+y^2=5y^2=1⟹y=\pm \frac{1}{\sqrt{5}}$$

$y=\frac{1}{\sqrt{5}}$ のとき $x=\frac{4}{\sqrt{5}}$ で、$f=\frac{5}{\sqrt{5}}=\sqrt{5}$ である。符号を変えれば $f=-\sqrt{5}$ になる。

楕円は有界閉集合なので、$|f|$ の最大は $\sqrt{5}$ である。求める距離は次の値になる。

$$\frac{\sqrt{5}}{\sqrt{2}}=\sqrt{\frac{5}{2}}$$

問題 11：楕円に内接する長方形

$a,b>0$ とする。楕円 $\frac{x^2}{a^2}+\frac{y^2}{b^2}=1$ に内接し、辺が座標軸に平行な長方形のうち、面積が最大のものを求めよ。

解答 11

第 1 象限の頂点を $(x,y)$ とすれば、面積は $4xy$ である。$f=xy$ を最大にすればよい。

$$(y,x)=\lambda \left(\frac{2x}{a^2},\frac{2y}{b^2}\right)$$

2 式の比を取る。$x,y>0$ なので割ってよい。

$$\frac{y}{x}=\frac{b^{2}x}{a^{2}y}⟹a^2{y}^2=b^2{x}^2⟹\frac{y}{b}=\frac{x}{a}$$

制約に入れると $\frac{2x^2}{a^2}=1$ となり、$x=\frac{a}{\sqrt{2}}$、$y=\frac{b}{\sqrt{2}}$ を得る。

$$4xy=4\cdot \frac{ab}{2}=2ab$$

楕円の面積 $\pi ab$ のおよそ $64$ パーセントにあたる。$a=b$ の場合が、円に内接する正方形である。

問題 12：相加平均と相乗平均

$x+y+z=3$、$x,y,z>0$ のとき $xyz$ の最大値を求めよ。

解答 12

$$(yz,xz,xy)=\lambda (1,1,1)$$

$yz=xz$ で $z>0$ だから $x=y$ である。同じように $y=z$ も出る。制約から $x=y=z=1$ となり、$xyz=1$ である。

ここで注意がいる。制約の集合 $\{x+y+z=3,x,y,z>0\}$ は有界だが、閉じていない。境界にあたる $x=0$ などが含まれていないからである。

そこで閉包を取って考える。閉包の上では最大値が存在し、境界では $xyz=0$ になる。内部の候補は $(1,1,1)$ だけなので、そこが最大である。

$$\frac{x+y+z}{3}\ge \sqrt[3]{xyz}$$

$x+y+z=3$ のとき右辺の最大が $1$ という主張は、相加相乗平均の不等式そのものである。等号成立が $x=y=z$ という条件も、候補の形から出ている。

問題 13：最大値も最小値も存在しない場合

$f(x,y)=x$ を制約 $xy=1$ のもとで最大化せよ。

解答 13

条件を書き下す。

$$(1,0)=\lambda (y,x)$$

第 2 式から $\lambda x=0$ である。$\lambda =0$ とすると第 1 式が $1=0$ になるので、$\lambda \ne 0$、したがって $x=0$ となる。

ところが $x=0$ は制約 $xy=1$ を満たさない。候補が 1 つも出ない。

実際、この制約の上で $x$ はいくらでも大きくなり、いくらでも小さくなる。最大値も最小値も存在しない。

候補が出ないことは、極値がないことの証拠になる。制約が有界閉集合でないときは、こういう結末もありうる。

よくある誤り

参考文献