ベクトルのノルム｜p ノルムの三角不等式をヤング・ヘルダーから証明する

ベクトルの「長さ」を測る関数をノルムといいます。三平方の定理で測ったものだけが長さの資格を持つわけではありません。

成分の絶対値を足すだけでも、いちばん大きな成分を取るだけでも、長さとして通用します。共通しているのは 3 つの条件だけです。

$p$ ノルムはこれらをひとつの式にまとめた族で、$p$ を動かすと単位球の形が変わります。

<svg viewBox="0 0 460 240" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="230" y="22" font-size="11" fill="#9a9a9a" text-anchor="middle">単位球（ノルムが 1 以下の点の集まり）の形は p で変わります</text>
	<line x1="150" y1="125" x2="310" y2="125" stroke="#e5e5e5" stroke-width="1"></line>
	<line x1="230" y1="45" x2="230" y2="205" stroke="#e5e5e5" stroke-width="1"></line>
	<rect x="165" y="60" width="130" height="130" fill="none" stroke="#9a9a9a" stroke-width="1"></rect>
	<circle cx="230" cy="125" r="65" fill="none" stroke="#1b81e0" stroke-width="1"></circle>
	<polygon points="230,60 295,125 230,190 165,125" fill="none" stroke="#1f1f1f" stroke-width="1"></polygon>
	<line x1="100" y1="222" x2="120" y2="222" stroke="#1f1f1f" stroke-width="1"></line>
	<text x="126" y="226" font-size="11" fill="#9a9a9a">p = 1</text>
	<line x1="200" y1="222" x2="220" y2="222" stroke="#1b81e0" stroke-width="1"></line>
	<text x="226" y="226" font-size="11" fill="#9a9a9a">p = 2</text>
	<line x1="300" y1="222" x2="320" y2="222" stroke="#9a9a9a" stroke-width="1"></line>
	<text x="326" y="226" font-size="11" fill="#9a9a9a">p が大きいとき</text>
</svg>

ノルムの定義

ベクトル空間の上の関数 $\Vert \cdot \Vert$ が次の 3 つを満たすとき、ノルムといいます。

まず $\Vert x\Vert =0$ となるのは $x=0$ のときに限ります。次にスカラー $\alpha$ について $\Vert \alpha x\Vert =|\alpha |\Vert x\Vert$ が成り立ちます。3 つ目が三角不等式です。

$$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$$

3 つ目がいちばん強い条件で、$p$ ノルムの場合はこれを示すのにひと手間かかります。

値が $0$ 以上であることは、条件から導けます。$0=\Vert x-x\Vert \le \Vert x\Vert +\Vert -x\Vert =2\Vert x\Vert$ とすれば済みます。

ユークリッドノルムと内積

いちばんなじみ深いのは、三平方の定理をそのまま書いた形です。

$$\Vert x{\Vert }_2=\sqrt{x_1^2+\cdots +x_n^2}$$

これは標準内積を使って $\Vert x{\Vert }_2=\sqrt{⟨x,x⟩}$ と書けます。内積から出てくることが、ほかのノルムとの決定的な違いになります。

角度や直交という言葉が使えるのも内積があるからです。内積そのものの扱いは内積空間の記事にあります。

例：3 つのノルムを計算する

$x=(3,-4,12)$ を 3 通りの測り方で比べます。

成分の絶対値を足すと $\Vert x{\Vert }_1=3+4+12=19$ になります。

2 乗和の平方根なら $\sqrt{9+16+144}=\sqrt{169}=13$ です。

絶対値の最大を取れば $\Vert x{\Vert }_{\infty }=12$ になります。同じベクトルでも、測り方しだいで $12$ から $19$ まで変わります。

p ノルムの定義

$1\le p<\infty$ に対して、次の式を $p$ ノルムといいます。

$$\Vert x{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

$p=1$ は絶対値の和で、マンハッタン距離とも呼ばれます。碁盤の目の街路を進むときの道のりにあたるからです。$p=2$ ならユークリッドノルムに戻ります。

外側の $1/p$ 乗は斉次性のために要ります。これがないと $\Vert \alpha x\Vert$ が $|\alpha {|}^p$ 倍になってしまいます。

最大値ノルムは p を大きくした極限

最大の絶対値を $M$ と置くと、上下からの評価がすぐ書けます。

$$M\le \Vert x{\Vert }_p\le n^{1/p}M$$

左は最大の成分だけを残した見積もり、右はすべての成分を $M$ で置き換えた見積もりです。$n^{1/p}$ は $p$ を大きくすると $1$ に近づきます。

$$\underset{p\to \infty }{\lim }\Vert x{\Vert }_p=\underset{i}{\max }|x_i|$$

はさみうちの原理から極限が決まります。この値を $\Vert x{\Vert }_{\infty }$ と書き、最大値ノルムといいます。

例：p を大きくしていく

さきほどの $x=(3,-4,12)$ で $p$ を動かします。

$p=3$ なら $(27+64+1728{)}^{1/3}=1819^{1/3}$ で、およそ $12.21$ です。

$p=4$ ではおよそ $12.05$、$p=6$ で $12.003$、$p=10$ まで来ると小数第 4 位まで $12$ と一致します。

最大成分の $12$ へ急速に近づきます。ほかの成分の寄与が $p$ 乗で押しつぶされるからです。

単位球の形が p で変わる

ノルムが $1$ 以下のベクトルを集めた集合を単位球といいます。平面で描くと、$p$ ごとに形が違います。

$p=1$ では対角線が軸に乗った正方形、$p=2$ では円、$p=\infty$ では軸に平行な辺を持つ正方形になります。$p$ を大きくするほど外へふくらみ、最後の正方形に近づきます。

どの $p$ でも、原点について対称な凸集合であることは変わりません。凸であることと三角不等式は、言い方が違うだけの同じ事実です。

2 ノルムの三角不等式

2 ノルムだけは内積を使って短く示せます。まずコーシー・シュワルツの不等式です。

$$|⟨x,y⟩|\le \Vert x{\Vert }_2\Vert y{\Vert }_2$$

これは $t$ の 2 次式 $\Vert x+ty{\Vert }_2^2\ge 0$ が実数解を持たないことから、判別式を見れば出ます。

あとは展開するだけです。

$$\Vert x+y{\Vert }_2^2=\Vert x{\Vert }_2^2+2⟨x,y⟩+\Vert y{\Vert }_2^2\le (\Vert x{\Vert }_2+\Vert y{\Vert }_2{)}^2$$

両辺の平方根を取れば三角不等式になります。内積を持たない $p\ne 2$ では、この近道が使えません。

ヤングの不等式

一般の $p$ では、数の不等式から積み上げます。$p,q>1$ が $1/p+1/q=1$ を満たすとき、共役指数といいます。

$a,b\ge 0$ に対して次が成り立ちます。

$$ab\le \frac{a^p}{p}+\frac{b^q}{q}$$

証明は対数の凹性です。右辺の対数は $a^p$ と $b^q$ の重み付き平均の対数で、これは対数の重み付き平均以上になります。

$$\log \left(\frac{a^p}{p}+\frac{b^q}{q}\right)\ge \frac{1}{p}\log a^p+\frac{1}{q}\log b^q=\log (ab)$$

等号は $a^p=b^q$ のときに限ります。$p=q=2$ に取れば $ab\le (a^2+b^2)/2$ という見なれた形です。

ヘルダーの不等式

ヤングの不等式を成分ごとに使うと、積の和が 2 つのノルムで押さえられます。

$$\sum _{i=1}^n|x_i{y}_i|\le \Vert x{\Vert }_p\Vert y{\Vert }_q$$

証明は正規化から始めます。$a_i=|x_i|/\Vert x{\Vert }_p$、$b_i=|y_i|/\Vert y{\Vert }_q$ と置いてヤングの不等式を当てはめ、$i$ について足すだけです。

右辺は $\frac{1}{p}\sum a_i^p+\frac{1}{q}\sum b_i^q$ となり、どちらの和も $1$ なので合計は $1$ になります。分母を払えば結論が出ます。

$p=q=2$ に取ると、コーシー・シュワルツの不等式に戻ります。ヘルダーの不等式はその一般化です。

ミンコフスキーの不等式

$p$ ノルムの三角不等式には、ミンコフスキーの不等式という名前がついています。

$$\Vert x+y{\Vert }_p\le \Vert x{\Vert }_p+\Vert y{\Vert }_p$$

$|x_i+y_i{|}^p$ を $|x_i+y_i|\cdot |x_i+y_i{|}^{p-1}$ と分け、前の因子に数の三角不等式を使います。

$$\Vert x+y{\Vert }_p^p\le \sum _i|x_i||x_i+y_i{|}^{p-1}+\sum _i|y_i||x_i+y_i{|}^{p-1}$$

右辺の 2 つの和にヘルダーの不等式を当てはめます。$(p-1)q=p$ なので、どちらからも $\Vert x+y{\Vert }_p^{p/q}$ という同じ因子が出てきます。

$$\Vert x+y{\Vert }_p^p\le \left(\Vert x{\Vert }_p+\Vert y{\Vert }_p\right)\Vert x+y{\Vert }_p^{p/q}$$

$\Vert x+y{\Vert }_p$ が $0$ でなければ、両辺をこの因子で割ります。$p-p/q=1$ ですから、残るのは三角不等式そのものです。

例：ミンコフスキーの不等式を確かめる

$p=3$、$x=(1,2)$、$y=(2,1)$ で数値を見ます。

$\Vert x{\Vert }_3$ と $\Vert y{\Vert }_3$ はどちらも $9^{1/3}$ で、およそ $2.080$ です。和はおよそ $4.160$ になります。

$x+y=(3,3)$ なので $\Vert x+y{\Vert }_3=54^{1/3}$、およそ $3.780$ です。不等式は成り立っています。

同じベクトルを $p=1$ で測ると両辺とも $6$ で、等号が起きます。成分の符号がそろっているときの $1$ ノルムでは、和がそのまま足し算になるからです。

例：p が 1 より小さいと三角不等式が壊れる

$p=1/2$ で同じ式を使ってみます。$x=(1,0)$、$y=(0,1)$ とします。

それぞれのノルムは $(\sqrt{1}+\sqrt{0}{)}^2=1$ で、和は $2$ です。

$x+y=(1,1)$ については $(\sqrt{1}+\sqrt{1}{)}^2=4$ になり、$2$ を大きく超えます。三角不等式が破れました。

$p\ge 1$ という条件は飾りではありません。$0<p<1$ の式は準ノルムと呼ばれ、ノルムとは区別されます。

p について単調に減る

$1\le p\le q$ なら $\Vert x{\Vert }_q\le \Vert x{\Vert }_p$ が成り立ちます。$p$ を大きくすると値は減ります。

証明は正規化です。$\Vert x{\Vert }_p=1$ の場合だけ見れば十分で、このとき各成分は $|x_i|\le 1$ を満たします。

$q\ge p$ なので $|x_i{|}^q\le |x_i{|}^p$ となり、足せば $\sum |x_i{|}^q\le 1$ です。$q$ 乗根を取れば $\Vert x{\Vert }_q\le 1$ が出ます。

逆向きの評価には次元 $n$ が入ります。

$$\Vert x{\Vert }_p\le n^{1/p-1/q}\Vert x{\Vert }_q$$

<svg viewBox="0 0 460 230" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="230" y="20" font-size="11" fill="#9a9a9a" text-anchor="middle">x = (3, -4, 12) のノルムを p の関数として見た値</text>
	<line x1="70" y1="190" x2="425" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="70" y1="45" x2="70" y2="190" stroke="#c8c8c8" stroke-width="1"></line>
	<line x1="70" y1="174" x2="420" y2="174" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="4 3"></line>
	<polyline points="70,66 108,159 146,171 183,174 259,174 335,174 410,174" fill="none" stroke="#1b81e0" stroke-width="1.5"></polyline>
	<circle cx="70" cy="66" r="3" fill="#1b81e0"></circle>
	<circle cx="108" cy="159" r="3" fill="#1b81e0"></circle>
	<circle cx="146" cy="171" r="3" fill="#1b81e0"></circle>
	<circle cx="183" cy="174" r="3" fill="#1b81e0"></circle>
	<circle cx="259" cy="174" r="3" fill="#1b81e0"></circle>
	<circle cx="335" cy="174" r="3" fill="#1b81e0"></circle>
	<text x="84" y="62" font-size="11" fill="#1f1f1f">19</text>
	<text x="120" y="156" font-size="11" fill="#1f1f1f">13</text>
	<text x="430" y="178" font-size="11" fill="#9a9a9a" text-anchor="end">12</text>
	<text x="70" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">1</text>
	<text x="108" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">2</text>
	<text x="183" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">4</text>
	<text x="259" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">6</text>
	<text x="335" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">8</text>
	<text x="410" y="205" font-size="11" fill="#9a9a9a" text-anchor="middle">10</text>
	<text x="240" y="222" font-size="11" fill="#9a9a9a" text-anchor="middle">p を大きくすると値は減り、破線の最大値ノルムに近づきます</text>
</svg>

有限次元ではすべてのノルムが同値

2 つのノルムが同値であるとは、正の定数で上下から挟めることをいいます。

$$c\Vert x{\Vert }_b\le \Vert x{\Vert }_a\le C\Vert x{\Vert }_b$$

有限次元の空間では、どの 2 つのノルムも同値になります。単位球面がコンパクトで、その上で連続関数が最大値と最小値を取ることから従います。

$1$、$2$、$\infty$ のあいだでは定数を具体的に書けます。

$$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_2\le \Vert x{\Vert }_1\le \sqrt{n}\Vert x{\Vert }_2\le n\Vert x{\Vert }_{\infty }$$

これらの定数は最良です。成分がすべて $1$ のベクトルでは $\Vert x{\Vert }_1=n$、$\Vert x{\Vert }_2=\sqrt{n}$ となり、右側の等号が実際に起きます。

同値であるおかげで、収束するかどうかはノルムの選び方によりません。無限次元ではこの性質が崩れます。

内積から来るノルムだけが中線定理を満たす

内積から作ったノルムは、次の等式を満たします。中線定理、または平行四辺形の法則と呼ばれます。

$$\Vert x+y{\Vert }^2+\Vert x-y{\Vert }^2=2\left(\Vert x{\Vert }^2+\Vert y{\Vert }^2\right)$$

内積で展開すれば、交差項が打ち消し合って出てきます。逆にこの等式を満たすノルムは、必ずある内積から来ることが知られています。

$p$ ノルムのうち内積から来るのは $p=2$ だけです。ほかの $p$ では中線定理が破れます。

例：中線定理を 3 つのノルムで試す

$x=(1,0)$、$y=(0,1)$ で左辺と右辺を比べます。

2 ノルムでは $x+y$ と $x-y$ の長さがともに $\sqrt{2}$ なので、左辺は $4$ です。右辺も $2(1+1)=4$ で一致します。

1 ノルムでは $\Vert x+y{\Vert }_1$ も $\Vert x-y{\Vert }_1$ も $2$ なので、左辺は $8$、右辺は $4$ です。

最大値ノルムでは長さがどちらも $1$ で、左辺は $2$、右辺は $4$ になります。どちらの測り方でも等式は成り立ちません。

他の話題とのつながり

ノルムがあれば $d(x,y)=\Vert x-y\Vert$ で距離が決まり、収束や連続を語れるようになります。有限次元では同値性のおかげで、どのノルムを選んでも収束の意味は変わりません。

行列にもノルムが入ります。成分を並べて 2 ノルムを取ればフロベニウスノルム、ベクトルのノルムから誘導すれば作用素ノルムで、行列のノルムの記事で扱います。

無限次元では $p$ の違いが本質的になります。数列や関数の空間では $p$ ごとに別の空間ができ、$L^p$ 空間として測度論で整理されます。

機械学習では 1 ノルムと 2 ノルムの使い分けが効きます。単位球の角が座標軸の上にあるという 1 ノルムの形が、成分を $0$ に落とす働きを生みます。

よくある誤り

参考文献