いちばん近い点はどこにあるのか？射影定理と最良近似

ヒルベルト空間 $H$ の空でない閉凸集合 $C$ と、任意の $x\in H$ をとります。$C$ の中で $x$ にいちばん近い点が、ただひとつ存在します^[1]。

$$\exists !m\in C:\Vert x-m\Vert \le \Vert x-c\Vert (\forall c\in C)$$

存在も一意性も、有限次元では当たり前に見えます。無限次元では、閉であることと凸であることの両方が要ります。

閉でないと最短の点が集合の外へ逃げ、凸でないと候補が複数になる。$C$ が単位球面のとき、中心からの最近点が球面じゅうにあることを思えば分かります。

最近点の見分け方

最近点かどうかは、不等式ひとつで判定できます^[1]。変分不等式と呼ばれる形です。

$$\mathrm{Re}⟨x-m,c-m⟩\le 0(\forall c\in C)$$

$m$ から $C$ のどの点へ向かっても、$x-m$ との角度が鈍角になる。$C$ の内側へ進むと $x$ から遠ざかる、という意味です。

$C$ が閉部分空間なら、条件がもっときれいになります。$c-m$ が部分空間じゅうを動けるので、不等式が等式に締まる^[1]。

$$⟨x-m,c⟩=0(\forall c\in C)$$

残り $x-m$ が $C$ と直交する、というだけの条件です。最短距離を与える点から下ろした線が垂直、という素朴な図がそのまま定理になっている。

直交射影という作用素

$M$ を閉部分空間とし、$x$ にその最近点を返す写像を $P$ と書きます^[3]。

$P$ は線形で、次の 2 つを満たします^[2]。この 2 つが直交射影の定義になっている^[3]。

$$P^2=P,⟨Px,y⟩=⟨x,Py⟩$$

1 つ目は、すでに $M$ にある点を写しても動かないこと。2 つ目は自己共役で、内積のどちら側に置いても同じ、という性質です。

ノルムは $1$ になります^[3]。コーシー・シュワルツの不等式から $\Vert Px\Vert \le \Vert x\Vert$ が出て、$M$ の点で等号が立つ。

$I-P$ も直交射影で、像が $M^{\perp }$ になります^[3]。空間が 2 つに分かれる。

$$H=M\oplus M^{\perp },x=Px+(I-P)x$$

応用：最小二乗法

データ点にいちばん合う直線を引く問題は、そのまま射影。

観測を $b\in {\mathbb{R}}^m$、モデルの張る空間を $A$ の列空間とすると、残差を最小にする $\hat{x}$ は $b$ をその空間へ射影した点になります。

直交条件がそのまま正規方程式です。残差 $b-A\hat{x}$ が列空間と直交する、と書けばよい。

$$A^{\top }(b-A\hat{x})=0⟺A^{\top }A\hat{x}=A^{\top }b$$

線形代数で公式として覚える式が、射影定理の言い換えになっています。

応用：フーリエ部分和は最良近似

正規直交系 $e_1,\dots ,e_n$ が張る空間への射影は、係数を内積で読むだけで書けます。

$$Px=\sum _{i=1}^n⟨x,e_i⟩e_i$$

これがその空間の中での最良近似になります。別の係数を使うと、必ず誤差が大きくなる。

フーリエ級数の部分和が「最もよい三角多項式近似」と呼ばれるのは、この意味です。係数を後からとり替える必要がない。

誤差の大きさも書けます。ピタゴラスの定理から、二乗誤差が残った係数の二乗和になる。

$$\Vert x-Px{\Vert }^2=\Vert x{\Vert }^2-\sum _{i=1}^n|⟨x,e_i⟩{|}^2$$

応用：条件付き期待値

確率空間 $L^2(\Omega ,\mathcal{F},P)$ で、部分 σ 加法族 $\mathcal{G}\subseteq \mathcal{F}$ をとります。

$\mathcal{G}$ 可測な二乗可積分関数の全体は閉部分空間です。そこへの直交射影が、条件付き期待値 $E[X\mid \mathcal{G}]$ にあたる。

最良近似という読み方ができます。$\mathcal{G}$ で分かる情報だけを使って $X$ を当てるとき、二乗誤差を最小にする予測がこれ。

直交条件は、残差が $\mathcal{G}$ 可測な量と相関を持たない、という形になります。予測できる部分を残していない、という意味。

quiz で確かめる

よくある誤り

参考文献