直交補空間と直交分解定理｜定義から正射影・最小二乗法までわかりやすく解説

$R^{3}$ のベクトル $(1, 2, 3)$ を $(1, 2, 0) + (0, 0, 3)$ と書きます。前半が $x y$ 平面の成分、後半が $z$ 軸の成分です。

誰でも自然にやっている操作ですが、ここには 2 つの事実が隠れています。 $x y$ 平面と $z$ 軸は互いに直交していること、そしてこの分け方がただ 1 通りしかないことです。

この 2 つを一般の部分空間について述べたものが、直交補空間と直交分解定理です。

内積と直交

$R^{n}$ の 2 つのベクトル $v = (v_{1}, \dots, v_{n})$ と $w = (w_{1}, \dots, w_{n})$ に対して、内積を次で定めます。

$⟨ v, w ⟩ = v_{1} w_{1} + v_{2} w_{2} + \dots + v_{n} w_{n}$

$⟨ v, w ⟩ = 0$ のとき $v$ と $w$ は直交するといい、 $v ⊥ w$ と書きます。

ノルムは $∥ v ∥ = ⟨ v, v ⟩$ です。 $⟨ v, v ⟩ = 0$ となるのは $v = 0$ のときだけ、という性質があとで何度も効いてきます。

以下では $R^{n}$ を念頭に置きますが、内積が定まっているベクトル空間なら議論はそのまま通用します。関数の空間や行列の空間でも同じです。

直交補空間の定義

$V$ を内積の定まったベクトル空間、 $W$ をその部分空間とします。

直交補空間

$W$ の直交補空間 $W^{⊥}$ を次で定めます。

$W^{⊥} = {v \in V ∣ すべての w \in W に対して ⟨ v, w ⟩ = 0}$

読み方

$W^{⊥}$ は「W パープ」または「W の直交補空間」と読みます。記号 $⊥$ は垂直記号です。

言葉にすれば、 $W$ のベクトルすべてと直交するベクトルを全部集めたもの、ということになります。

「すべて」がついている点が大事です。 $W$ のあるベクトルと直交するだけでは足りません。

$W^{⊥}$ は部分空間になる

定義からは集合としか言えませんが、実は $W^{⊥}$ もまた $V$ の部分空間です。

まず $0 \in W^{⊥}$ です。 $⟨ 0, w ⟩ = 0$ がどの $w$ でも成り立つからです。

次に $v_{1}, v_{2} \in W^{⊥}$ とスカラー $c$ を取ります。任意の $w \in W$ に対して内積の線型性から

$⟨ c v_{1} + v_{2}, w ⟩ = c ⟨ v_{1}, w ⟩ + ⟨ v_{2}, w ⟩ = 0$

となるので $c v_{1} + v_{2} \in W^{⊥}$ です。部分空間の条件を満たしました。

つまり $W^{⊥}$ を考えることは、部分空間からまた部分空間を作る操作になっています。

$W$ と $W^{⊥}$ が共有するのは $0$ だけ

$W \cap W^{⊥} = {0}$ が必ず成り立ちます。これは内積の性質から自動的に出てきます。

$v \in W \cap W^{⊥}$ としましょう。 $v \in W^{⊥}$ なので $W$ のすべてのベクトルと直交します。ところが $v$ 自身が $W$ に属しています。

したがって $⟨ v, v ⟩ = 0$ となり、 $v = 0$ です。

証明が 3 行で終わるところがポイントです。あとで直和を扱うとき、2 つ確かめるべき条件のうち片方はこれで済んでしまいます。

生成元だけ調べればよい

定義には「すべての $w \in W$ について」と書いてありますが、実際に確かめるのは有限個で足ります。

$W = span {w_{1}, \dots, w_{k}}$ のとき、 $v \in W^{⊥}$ であることと $⟨ v, w_{i} ⟩ = 0$ が $i = 1, \dots, k$ で成り立つことは同値です。

理由は簡単で、 $W$ の任意の元は $w = c_{1} w_{1} + \dots + c_{k} w_{k}$ と書けるので、内積の線型性から $⟨ v, w ⟩ = c_{1} \cdot 0 + \dots + c_{k} \cdot 0 = 0$ となるからです。

おかげで $W^{⊥}$ を求める作業は連立 1 次方程式を解くことに帰着します。以下の例はすべてこの方法で計算できます。

極端な例

両端の場合を見ておくと感覚がつかめます。

${0}^{⊥} = V$ です。 $0$ とはどんなベクトルも直交するので、条件が何も課されません。

逆に $V^{⊥} = {0}$ です。 $V$ のすべてのベクトルと直交するなら自分自身とも直交するので、 $0$ しかありえません。

大きい部分空間の直交補空間は小さく、小さい部分空間の直交補空間は大きくなります。 $W$ が大きいほど課される条件が増えるからです。

例: $R^{2}$ の直線

$W = span {(1, 2)}$ とします。原点を通る 1 本の直線です。

$v = (x, y)$ が $W^{⊥}$ に入る条件は $⟨(x, y), (1, 2)⟩ = x + 2 y = 0$ です。生成元 1 本だけ調べればよいのでした。

解は $(x, y) = t (2, - 1)$ なので $W^{⊥} = span {(2, - 1)}$ となります。

もとの直線に垂直な直線が出てきました。 $dim W + dim W^{⊥} = 1 + 1 = 2 = dim R^{2}$ になっている点にも注目してください。

例: $R^{3}$ の $x y$ 平面

冒頭の例を定義に沿って確かめます。 $W = span {(1, 0, 0), (0, 1, 0)}$ が $x y$ 平面です。

$(x, y, z)$ が $W^{⊥}$ に入る条件は $x = 0$ かつ $y = 0$ です。生成元との内積がそれぞれ $x$ と $y$ になるからです。

したがって $W^{⊥} = {(0, 0, z)} = span {(0, 0, 1)}$ 、つまり $z$ 軸です。

HTML

CSS

JavaScript

<div class="oc-fig">
<svg viewBox="0 0 420 250" xmlns="http://www.w3.org/2000/svg" role="img" aria-label="xy 平面と z 軸によるベクトルの分解">
<rect x="0" y="0" width="420" height="250" rx="10" fill="#fafbfc"/>
<polygon points="70,175 250,175 350,130 170,130" fill="#3468d6" fill-opacity="0.13" stroke="#3468d6" stroke-width="1.2"/>
<line x1="210" y1="152" x2="210" y2="52" stroke="#e5484d" stroke-width="1.6" stroke-dasharray="5 4"/>
<line x1="210" y1="152" x2="272" y2="137" stroke="#1b4fb8" stroke-width="2.6"/>
<line x1="210" y1="152" x2="272" y2="72" stroke="#1b1d22" stroke-width="2.6"/>
<line x1="272" y1="137" x2="272" y2="72" stroke="#c93c41" stroke-width="2.6"/>
<path d="M 272 130 L 265 130 L 265 137" fill="none" stroke="#6b7280" stroke-width="1.2"/>
<circle cx="210" cy="152" r="3.4" fill="#1b1d22"/>
<g font-family="ui-sans-serif, system-ui, sans-serif" font-size="12.5" fill="#1b1d22" stroke="#fafbfc" stroke-width="3.5" paint-order="stroke">
<text x="100" y="196" fill="#1b4fb8">W（xy 平面）</text>
<text x="218" y="46" fill="#c93c41">W の直交補空間（z 軸）</text>
<text x="282" y="66">v</text>
<text x="248" y="158" fill="#1b4fb8">w</text>
<text x="284" y="108" fill="#c93c41">v − w</text>
</g>
</svg>
</div>

.oc-fig { margin: 0; text-align: center; }
.oc-fig svg { width: 100%; max-width: 420px; height: auto; }

$(1, 2, 3) = (1, 2, 0) + (0, 0, 3)$ という分解が、 $W$ の成分と $W^{⊥}$ の成分への分解になっていたわけです。

例: $R^{3}$ の直線

今度は 1 次元の部分空間を取ります。 $W = span {(1, 1, 1)}$ です。

条件は $⟨(x, y, z), (1, 1, 1)⟩ = x + y + z = 0$ の 1 本だけです。

これは平面の方程式です。 $W^{⊥} = {(x, y, z) ∣ x + y + z = 0}$ となり、基底として $(1, - 1, 0)$ と $(1, 0, - 1)$ が取れます。

$dim W + dim W^{⊥} = 1 + 2 = 3$ です。直線の直交補空間は、それに垂直な平面になりました。

例: 平面 $x + y + z = 0$

前の例の $W$ と $W^{⊥}$ を入れ替えてみます。 $W = {(x, y, z) ∣ x + y + z = 0}$ としましょう。

生成元は $(1, - 1, 0)$ と $(1, 0, - 1)$ です。 $W^{⊥}$ の条件は $a - b = 0$ かつ $a - c = 0$ 、つまり $a = b = c$ になります。

したがって $W^{⊥} = span {(1, 1, 1)}$ です。

もとの直線に戻りました。これは偶然ではなく、あとで見る $(W^{⊥})^{⊥} = W$ という性質の現れです。平面の方程式 $x + y + z = 0$ に出てくる係数 $(1, 1, 1)$ が、そのまま法線ベクトルになっているとも読めます。

例: $R^{4}$ の 2 次元部分空間

次元が上がっても手順は変わりません。 $W = span {(1, 1, 0, 0), (0, 1, 1, 0)}$ とします。

条件は 2 本の連立 1 次方程式になります。

$x_{1} + x_{2} = 0, x_{2} + x_{3} = 0$

$x_{2} = - x_{1}$ 、 $x_{3} = - x_{2} = x_{1}$ が出て、 $x_{4}$ は自由です。

よって $W^{⊥} = span {(1, - 1, 1, 0), (0, 0, 0, 1)}$ となり、次元は 2 です。 $2 + 2 = 4$ が成り立っています。

例: 偶関数と奇関数

$R^{n}$ を離れてみます。 $V$ を区間 $[- 1, 1]$ 上の連続関数全体とし、内積を次で定めます。

$⟨ f, g ⟩ = \int_{- 1}^{1} f (x) g (x) d x$

$W$ を偶関数全体としましょう。 $f$ が偶関数、 $g$ が奇関数なら積 $f g$ は奇関数なので、対称な区間での積分は $0$ になります。つまり奇関数は $W^{⊥}$ に入ります。

逆も言えます。任意の $h$ は

$h (x) = \frac{h ( x ) + h ( - x )}{2} + \frac{h ( x ) - h ( - x )}{2}$

と分解でき、第 1 項が偶関数、第 2 項が奇関数です。

「どんな関数も偶関数と奇関数の和に一意に分解できる」という高校で習う事実は、内積空間の直交分解そのものだったことになります。

例: 対称行列と交代行列

行列の空間でも同じことが起きます。 $V$ を $n$ 次実正方行列全体とし、内積を次で定めます。

$⟨ A, B ⟩ = tr (A^{T} B)$

これは成分どうしの積を全部足したもので、 $R^{n^{2}}$ の標準内積と同じものです。

$W$ を対称行列全体とします。 $A$ が対称、 $B$ が交代のとき $tr (A^{T} B) = tr (A B)$ で、転置を取れば $tr (A B) = tr (B^{T} A^{T}) = - tr (B A) = - tr (A B)$ となるので、値は $0$ です。

そして任意の行列は $A = \frac{A + A ^{T}}{2} + \frac{A - A ^{T}}{2}$ と分解できます。 $W^{⊥}$ は交代行列全体です。

次元も合います。 $\frac{n ( n + 1 )}{2} + \frac{n ( n - 1 )}{2} = n^{2}$ となるからです。

次元公式

有限次元の場合、次の等式が成り立ちます。

次元公式

$V$ を有限次元の内積空間、 $W$ をその部分空間とすると

$dim V = dim W + dim W^{⊥}$

意味

$W$ が $V$ のうちどれだけを占めるかが決まれば、 $W^{⊥}$ の大きさは自動的に決まります。

ここまでの例で毎回確かめてきたとおりです。 $R^{3}$ なら、直線の補空間は平面、平面の補空間は直線になります。

証明は次の直交分解定理から出ます。 $V$ が $W$ と $W^{⊥}$ の直和になれば、次元は足し算になるからです。

直交分解定理

この記事の中心になる定理です。

直交分解定理

$V$ を内積空間、 $W$ を $V$ の有限次元部分空間とします。このとき任意の $v \in V$ は

$v = w + w^{'}$ 、ただし $w \in W$ かつ $w^{'} \in W^{⊥}$

の形にただ 1 通りに書けます。

直和の表現

このことを $V = W \oplus W^{⊥}$ と書きます。

仮定に注意してください。 $V$ 全体が有限次元である必要はありません。 $W$ が有限次元でありさえすればよいのです。

無限次元の関数空間の中で、多項式が張る有限次元部分空間への分解を考える、といったことができます。フーリエ級数の議論はまさにこの形になります。

存在の証明

$W$ の正規直交基底 ${e_{1}, \dots, e_{k}}$ を取ります。あとで見るグラム・シュミットの方法で必ず作れます。

そして次のように置きます。

$w = ⟨ v, e_{1} ⟩ e_{1} + \dots + ⟨ v, e_{k} ⟩ e_{k}, w^{'} = v - w$

$w \in W$ は作り方から明らかです。 $w^{'} \in W^{⊥}$ を示しましょう。

各 $j$ について $⟨ w, e_{j} ⟩ = ⟨ v, e_{j} ⟩$ が成り立ちます。正規直交基底なので $⟨ e_{i}, e_{j} ⟩$ は $i = j$ のとき $1$ 、それ以外は $0$ だからです。

したがって $⟨ w^{'}, e_{j} ⟩ = ⟨ v, e_{j} ⟩ - ⟨ w, e_{j} ⟩ = 0$ となります。生成元すべてと直交するので $w^{'} \in W^{⊥}$ です。

一意性の証明

$v = w_{1} + w_{1}^{'} = w_{2} + w_{2}^{'}$ と 2 通りに書けたとします。 $w_{i} \in W$ 、 $w_{i}^{'} \in W^{⊥}$ です。

移項すると $w_{1} - w_{2} = w_{2}^{'} - w_{1}^{'}$ となります。

左辺は $W$ の元、右辺は $W^{⊥}$ の元です。どちらも同じベクトルなので、これは $W \cap W^{⊥}$ に属します。

先に見たとおり $W \cap W^{⊥} = {0}$ なので、 $w_{1} = w_{2}$ かつ $w_{1}^{'} = w_{2}^{'}$ です。

直和とは何か

$V = W \oplus W^{⊥}$ という記号には 2 つの主張が入っています。

V = W + W^{⊥}

、つまりどんな

v

も 2 つの成分の和で書ける

W \cap W^{⊥} = {0}

、つまり書き方が 1 通りしかない

内積空間では 2 つ目は自動的に成り立ちました。証明が 3 行で済むあの議論です。

したがって定理の中身は 1 つ目のほうにあります。 $W$ が有限次元でないと崩れうるのも、こちらの条件です。

二重直交補空間

$W^{⊥}$ の直交補空間を取ると何が起きるでしょうか。

有限次元では $(W^{⊥})^{⊥} = W$ が成り立ちます。 $W \subseteq (W^{⊥})^{⊥}$ は定義からすぐ出ますし、次元公式を 2 回使えば両者の次元が一致するので、等号になります。

平面 $x + y + z = 0$ の例で見たとおりです。直線から平面へ、平面から直線へ、と往復しました。

この性質は有限次元でのみ成り立ちます。

無限次元では $(W^{⊥})^{⊥}$ が $W$ より真に大きくなることがあります。最後の 2 節で反例を見ます。

正射影

分解 $v = w + w^{'}$ の $W$ 側の成分 $w$ を、 $v$ の $W$ への正射影といい $proj_{W} v$ と書きます。

一意性が保証されているので、これは $v$ から一意に定まります。 $v \mapsto proj_{W} v$ は線型写像になります。

$W^{⊥}$ 側の成分は $v - proj_{W} v$ で、これは $proj_{W^{⊥}} v$ にほかなりません。

$v \in W$ なら $proj_{W} v = v$ です。すでに $W$ にいるベクトルは動かないので、射影を 2 回かけても 1 回と同じ結果になります。

正規直交基底による公式

存在の証明で使った式が、そのまま計算式になります。

$proj_{W} v = ⟨ v, e_{1} ⟩ e_{1} + \dots + ⟨ v, e_{k} ⟩ e_{k}$

ただし ${e_{1}, \dots, e_{k}}$ は $W$ の正規直交基底です。

正規直交でない基底にこの式を当てはめると間違えます。あとで実例を見ます。

基底が 1 本 $u$ だけで、長さを $1$ に揃えていない場合は次の形になります。

$proj_{W} v = \frac{⟨ v , u ⟩}{⟨ u , u ⟩} u$

例: 直線への射影を計算する

$W = span {(1, 1, 0)}$ に $v = (3, 1, 2)$ を射影します。

$u = (1, 1, 0)$ として、 $⟨ v, u ⟩ = 3 + 1 + 0 = 4$ 、 $⟨ u, u ⟩ = 2$ です。

$proj_{W} v = \frac{4}{2} (1, 1, 0) = (2, 2, 0)$

残りの成分は $v - (2, 2, 0) = (1, - 1, 2)$ です。

確かめておきましょう。 $⟨(1, - 1, 2), (1, 1, 0)⟩ = 1 - 1 + 0 = 0$ なので、たしかに $W^{⊥}$ に入っています。

例: 平面への射影を計算する

$W = {(x, y, z) ∣ x + y + z = 0}$ に $v = (1, 2, 3)$ を射影します。

$W$ の基底を使うより、 $W^{⊥} = span {(1, 1, 1)}$ のほうが 1 次元なので楽です。まず $W^{⊥}$ 側を計算します。

$proj_{W^{⊥}} v = \frac{1 + 2 + 3}{3} (1, 1, 1) = (2, 2, 2)$

したがって $proj_{W} v = (1, 2, 3) - (2, 2, 2) = (- 1, 0, 1)$ です。

検算します。 $- 1 + 0 + 1 = 0$ なので $(- 1, 0, 1) \in W$ 、そして $(2, 2, 2)$ は $(1, 1, 1)$ の定数倍なので $W^{⊥}$ に入っています。

補空間のほうが次元が低いときは、そちらを先に計算して引く。実用上よく使う手です。

直交していない基底では使えない

正規直交という条件を落とすとどうなるか、実例で見ておきます。

$W$ を $x y$ 平面とし、基底として $a = (1, 0, 0)$ と $b = (1, 1, 0)$ を取ります。この 2 本は直交していません。

$v = (1, 2, 3)$ に対して、公式の形をそのまま当てはめてみましょう。

$\frac{⟨ v , a ⟩}{⟨ a , a ⟩} a + \frac{⟨ v , b ⟩}{⟨ b , b ⟩} b = (1, 0, 0) + \frac{3}{2} (1, 1, 0) = (\frac{5}{2}, \frac{3}{2}, 0)$

正しい答えは $(1, 2, 0)$ でした。まったく違います。

各方向への射影を単純に足すやり方が通用するのは、方向どうしが直交しているときだけです。だからこそ次に見るグラム・シュミットが要ります。

射影を計算する

数値で確かめるなら数行で書けます。

import numpy as np

# W = span{(1, 1, 0)} への正射影
u = np.array([1.0, 1.0, 0.0])
v = np.array([3.0, 1.0, 2.0])

w = (v @ u) / (u @ u) * u    # W 成分
w_perp = v - w               # 直交補空間の成分

print(w)             # [2. 2. 0.]
print(w_perp)        # [ 1. -1.  2.]
print(w @ w_perp)    # 0.0

最後の行が $0$ になることが、分解が正しくできている証拠です。

射影行列

$R^{n}$ では、正射影は行列の掛け算で書けます。

$W$ の正規直交基底を列に並べた行列を $Q$ とすると、 $P = Q Q^{T}$ が射影行列です。 $proj_{W} v = P v$ となります。

さきほどの $W = span {(1, 1, 0)}$ で作ってみましょう。正規化すると $e = \frac{1}{2} (1, 1, 0)$ なので

$P = e e^{T} = \frac{1}{2} 110110000$

となります。 $P (3, 1, 2)^{T} = (2, 2, 0)^{T}$ で、手で計算した答えと一致します。

射影行列の性質

射影行列には 2 つの特徴があります。

P^{2} = P

（べき等）。1 回射影したものをもう 1 回射影しても変わらない

P^{T} = P

（対称）。正射影であることの特徴

逆も成り立ちます。 $P^{2} = P$ かつ $P^{T} = P$ を満たす行列は、必ずどこかの部分空間への正射影になります。

べき等だけでは足りません。斜めに潰す射影もべき等ですが、対称にはなりません。対称性が「まっすぐ下ろす」ことに対応しています。

$I - P$ は補空間への射影

$P$ が $W$ への射影なら、 $I - P$ は $W^{⊥}$ への射影です。

分解 $v = P v + (v - P v)$ の第 2 項がまさに $W^{⊥}$ 成分だったからです。

$(I - P)^{2} = I - 2 P + P^{2} = I - P$ となるので、こちらもべき等です。対称性も明らかでしょう。

$P$ と $I - P$ が $V$ を 2 つに切り分けている、というのが直交分解定理の行列版です。

正射影は最短距離を与える

正射影にはもう 1 つ、まったく別に見える特徴づけがあります。

$proj_{W} v$ は、 $W$ の中で $v$ にいちばん近い点です。つまり任意の $w \in W$ に対して

$∥ v - proj_{W} v ∥ \leq ∥ v - w ∥$

が成り立ち、等号は $w = proj_{W} v$ のときにかぎります。

これが最良近似という考え方の出発点です。最小二乗法もフーリエ級数も、突き詰めればこの性質を使っています。

証明は三平方の定理

証明は驚くほど短いものです。 $p = proj_{W} v$ と置き、 $w \in W$ を任意に取ります。

$v - w = (v - p) + (p - w)$

と分けます。第 1 項は $W^{⊥}$ の元、第 2 項は $W$ の元なので、この 2 つは直交しています。

直交する 2 つのベクトルには三平方の定理が使えます。

$∥ v - w ∥^{2} = ∥ v - p ∥^{2} + ∥ p - w ∥^{2}$

右辺の第 2 項は $0$ 以上で、 $0$ になるのは $w = p$ のときだけです。証明が終わりました。

HTML

CSS

JavaScript

<div class="proj-fig">
<svg viewBox="0 0 440 210" xmlns="http://www.w3.org/2000/svg" role="img" aria-label="正射影が最短距離を与えることの図">
<rect x="0" y="0" width="440" height="210" rx="10" fill="#fafbfc"/>
<line x1="45" y1="160" x2="400" y2="160" stroke="#3468d6" stroke-width="2.4"/>
<line x1="200" y1="60" x2="200" y2="160" stroke="#c93c41" stroke-width="2.4"/>
<line x1="200" y1="60" x2="330" y2="160" stroke="#6b7280" stroke-width="1.6" stroke-dasharray="5 4"/>
<line x1="200" y1="60" x2="105" y2="160" stroke="#6b7280" stroke-width="1.6" stroke-dasharray="5 4"/>
<path d="M 200 148 L 212 148 L 212 160" fill="none" stroke="#6b7280" stroke-width="1.3"/>
<circle cx="200" cy="60" r="4" fill="#1b1d22"/>
<circle cx="200" cy="160" r="4" fill="#c93c41"/>
<circle cx="330" cy="160" r="3.4" fill="#5b616b"/>
<circle cx="105" cy="160" r="3.4" fill="#5b616b"/>
<g font-family="ui-sans-serif, system-ui, sans-serif" font-size="12.5" fill="#1b1d22" stroke="#fafbfc" stroke-width="3.5" paint-order="stroke">
<text x="200" y="48" text-anchor="middle">v</text>
<text x="380" y="150" fill="#1b4fb8">W</text>
<text x="200" y="184" text-anchor="middle" fill="#c93c41">proj v</text>
<text x="330" y="184" text-anchor="middle" fill="#5b616b">w</text>
<text x="105" y="184" text-anchor="middle" fill="#5b616b">w</text>
<text x="163" y="110" fill="#c93c41">最短</text>
</g>
</svg>
</div>

.proj-fig { margin: 0; text-align: center; }
.proj-fig svg { width: 100%; max-width: 440px; height: auto; }

垂線の足がいちばん近い、という中学以来の事実が、そのまま一般の次元で成り立ちます。

例: 点と平面の距離

最短距離の性質を使うと、距離の公式が自然に出てきます。

平面 $W = {x + y + z = 0}$ と点 $v = (1, 2, 3)$ の距離を求めましょう。

先に計算したとおり $W^{⊥}$ 成分は $(2, 2, 2)$ でした。求める距離はこのノルムです。

$∥ (2, 2, 2) ∥ = 4 + 4 + 4 = 23$

高校で習う点と平面の距離の公式 $\frac{∣1 + 2 + 3∣}{1 ^{2} + 1 ^{2} + 1 ^{2}} = \frac{6}{3} = 23$ と一致します。あの公式は法線方向への射影の長さを測っていたわけです。

グラム・シュミットの直交化法

正射影の公式には正規直交基底が要りました。それを作る手続きがグラム・シュミットの直交化法です。

線形独立な $v_{1}, \dots, v_{n}$

1 本目はそのまま $u_{1} = v_{1}$

2 本目以降は前までが張る空間への射影を引く

長さを $1$ に揃えて正規直交基底

$k$ 番目のベクトルは次の式で計算します。

$u_{k} = v_{k} - i = 1 \sum k - 1 \frac{⟨ v _{k} , u _{i} ⟩}{⟨ u _{i} , u _{i} ⟩} u_{i}$

最後に $e_{k} = u_{k} /∥ u_{k} ∥$ とすれば正規直交基底になります。

なぜうまくいくか

式の右辺の和の部分は、 $u_{1}, \dots, u_{k - 1}$ が張る部分空間 $W_{k - 1}$ への正射影です。

つまり $u_{k} = v_{k} - proj_{W_{k - 1}} v_{k}$ と書けます。

これは直交分解の $W^{⊥}$ 側の成分にほかなりません。したがって $u_{k}$ は $W_{k - 1}$ のすべてのベクトル、とくに $u_{1}, \dots, u_{k - 1}$ と直交します。

$u_{k} \neq = 0$ であることは、 $v_{k}$ が $W_{k - 1}$ に入っていないこと、つまり線形独立性から出ます。この手続きは直交補空間の成分を毎回取り出しているだけなのです。

例: $R^{3}$ で直交化する

$v_{1} = (1, 1, 0)$ 、 $v_{2} = (2, 0, 1)$ 、 $v_{3} = (0, 0, 1)$ を直交化します。

まず $u_{1} = (1, 1, 0)$ 、 $⟨ u_{1}, u_{1} ⟩ = 2$ です。

$⟨ v_{2}, u_{1} ⟩ = 2 + 0 + 0 = 2$ なので

$u_{2} = (2, 0, 1) - \frac{2}{2} (1, 1, 0) = (1, - 1, 1)$

となります。 $⟨ u_{2}, u_{2} ⟩ = 3$ です。

例: 3 本目を計算する

続けて $u_{3}$ を求めます。 $⟨ v_{3}, u_{1} ⟩ = 0$ 、 $⟨ v_{3}, u_{2} ⟩ = 1$ です。

$u_{3} = (0, 0, 1) - \frac{0}{2} (1, 1, 0) - \frac{1}{3} (1, - 1, 1) = (- \frac{1}{3}, \frac{1}{3}, \frac{2}{3})$

方向だけが問題なので $3$ 倍して $(- 1, 1, 2)$ としてかまいません。

直交を確かめます。 $⟨(- 1, 1, 2), (1, 1, 0)⟩ = - 1 + 1 = 0$ 、 $⟨(- 1, 1, 2), (1, - 1, 1)⟩ = - 1 - 1 + 2 = 0$ 。どちらも $0$ になりました。

正規化すると、 $\frac{1}{2} (1, 1, 0)$ 、 $\frac{1}{3} (1, - 1, 1)$ 、 $\frac{1}{6} (- 1, 1, 2)$ が正規直交基底です。

例: ルジャンドル多項式

関数空間でやってみると面白い結果が出ます。 $[- 1, 1]$ 上の連続関数に $⟨ f, g ⟩ = \int_{- 1}^{1} f g d x$ を入れ、 $1, x, x^{2}$ を直交化します。

$u_{1} = 1$ です。 $⟨ 1, 1 ⟩ = \int_{- 1}^{1} d x = 2$ になります。

$⟨ x, 1 ⟩ = \int_{- 1}^{1} x d x = 0$ なので、 $u_{2} = x$ がそのまま直交します。 $⟨ x, x ⟩ = \frac{2}{3}$ です。

3 本目を計算します。 $⟨ x^{2}, 1 ⟩ = \frac{2}{3}$ 、 $⟨ x^{2}, x ⟩ = \int_{- 1}^{1} x^{3} d x = 0$ なので

$u_{3} = x^{2} - \frac{2/3}{2} \cdot 1 - 0 = x^{2} - \frac{1}{3}$

となります。これはルジャンドル多項式 $P_{2} (x) = \frac{3 x ^{2} - 1}{2}$ の定数倍です。直交化を続ければルジャンドル多項式が次々に出てきます。

QR 分解との関係

グラム・シュミットを行列の言葉で書くと QR 分解になります。

列ベクトルを $v_{1}, \dots, v_{n}$ とする行列 $A$ に対し、直交化して得た正規直交基底を列に並べたものを $Q$ とします。

すると $A = QR$ と書けて、 $R$ は上三角行列になります。 $v_{k}$ が $e_{1}, \dots, e_{k}$ の 1 次結合で書けて、それより先を使わないからです。

数値計算では、この形のほうが連立方程式や最小二乗を安定に解けます。理論の話が計算の道具に直結する場所です。

行列の 4 つの部分空間

ここからは応用に入ります。まず行列そのものを直交補空間の目で見てみましょう。

$A$ を $m \times n$ 実行列とします。 $A$ には 4 つの部分空間が付随します。

核

ker A = {x \in R^{n} ∣ A x = 0}

行空間

im A^{T} \subseteq R^{n}

（

A

の行が張る空間）

像

im A \subseteq R^{m}

（

A

の列が張る空間）

左核

ker A^{T} \subseteq R^{m}

このうち最初の 2 つが $R^{n}$ の中に、後の 2 つが $R^{m}$ の中にあります。

核と行空間は直交補空間

$A x = 0$ という条件は、 $A$ の各行と $x$ の内積がすべて $0$ である、と読み替えられます。

行空間は行が張る空間ですから、これはまさに $x$ が行空間の直交補空間に入る条件です。

$ker A = (im A^{T})^{⊥}$

同じことを $A^{T}$ に対して行えば、 $ker A^{T} = (im A)^{⊥}$ も得られます。

連立 1 次方程式を解くという操作が、直交補空間を求める操作と同じだったことになります。

階数・退化次数の定理が出てくる

前節の関係に次元公式を当てはめてみましょう。 $R^{n}$ の中で

$dim ker A + dim im A^{T} = n$

が成り立ちます。

行空間の次元は行階数、つまり $A$ の階数です。したがってこの式は

$dim ker A + rank A = n$

と書き直せます。階数・退化次数の定理そのものです。

線形代数で別々に習うことの多い 2 つの定理が、実は同じ 1 つの事実だったわけです。

HTML

CSS

JavaScript

<div class="four-fig">
<svg viewBox="0 0 460 240" xmlns="http://www.w3.org/2000/svg" role="img" aria-label="行列に付随する 4 つの部分空間の図">
<rect x="0" y="0" width="460" height="240" rx="10" fill="#fafbfc"/>
<rect x="30" y="40" width="150" height="76" rx="6" fill="#3468d6" fill-opacity="0.14" stroke="#3468d6" stroke-width="1.2"/>
<rect x="30" y="124" width="150" height="76" rx="6" fill="#e5484d" fill-opacity="0.11" stroke="#e5484d" stroke-width="1.2"/>
<rect x="280" y="40" width="150" height="76" rx="6" fill="#3468d6" fill-opacity="0.14" stroke="#3468d6" stroke-width="1.2"/>
<rect x="280" y="124" width="150" height="76" rx="6" fill="#e5484d" fill-opacity="0.11" stroke="#e5484d" stroke-width="1.2"/>
<path d="M 190 78 L 268 78" fill="none" stroke="#5b616b" stroke-width="1.6"/>
<path d="M 262 74 L 270 78 L 262 82" fill="none" stroke="#5b616b" stroke-width="1.6"/>
<path d="M 190 162 L 268 78" fill="none" stroke="#9aa2ad" stroke-width="1.2" stroke-dasharray="4 3"/>
<g font-family="ui-sans-serif, system-ui, sans-serif" font-size="12" fill="#1b1d22">
<text x="105" y="26" text-anchor="middle" fill="#5b616b">定義域 R^n</text>
<text x="355" y="26" text-anchor="middle" fill="#5b616b">値域 R^m</text>
<text x="105" y="74" text-anchor="middle" fill="#1b4fb8">行空間</text>
<text x="105" y="94" text-anchor="middle" font-size="11" fill="#1b4fb8">次元 r</text>
<text x="105" y="158" text-anchor="middle" fill="#c93c41">核</text>
<text x="105" y="178" text-anchor="middle" font-size="11" fill="#c93c41">次元 n − r</text>
<text x="355" y="74" text-anchor="middle" fill="#1b4fb8">像（列空間）</text>
<text x="355" y="94" text-anchor="middle" font-size="11" fill="#1b4fb8">次元 r</text>
<text x="355" y="158" text-anchor="middle" fill="#c93c41">左核</text>
<text x="355" y="178" text-anchor="middle" font-size="11" fill="#c93c41">次元 m − r</text>
<text x="229" y="70" text-anchor="middle" font-size="12.5">A</text>
<text x="229" y="222" text-anchor="middle" font-size="11" fill="#5b616b">上下は互いに直交補空間</text>
</g>
</svg>
</div>

.four-fig { margin: 0; text-align: center; }
.four-fig svg { width: 100%; max-width: 460px; height: auto; }

上下に並んだ 2 つが互いに直交補空間になっています。 $A$ は下の部分をつぶし、上の部分を上の部分へ移す写像だと読めます。

例: 具体的な行列で確かめる

行列を 1 つ取って 4 つの部分空間を全部求めてみます。

$A = (122436)$

2 行目が 1 行目の 2 倍なので、階数は $1$ です。行空間は $span {(1, 2, 3)}$ になります。

核は $x_{1} + 2 x_{2} + 3 x_{3} = 0$ の解空間で、基底として $(2, - 1, 0)$ と $(3, 0, - 1)$ が取れます。次元は $2$ です。

$1 + 2 = 3 = n$ となっていて、たしかに階数・退化次数の定理が成り立っています。

例: 値域側の 2 つ

同じ行列で $R^{2}$ 側も見ます。

列空間は $span {(1, 2)}$ です。3 本の列 $(1, 2)$ 、 $(2, 4)$ 、 $(3, 6)$ がすべて平行だからです。

左核は $A^{T} y = 0$ の解で、条件は $y_{1} + 2 y_{2} = 0$ です。よって $span {(2, - 1)}$ になります。

直交を確かめます。 $⟨(1, 2), (2, - 1)⟩ = 2 - 2 = 0$ です。次元も $1 + 1 = 2 = m$ で合っています。

最小二乗法

解が存在しない連立方程式を、無理やり「いちばんまし」に解く方法があります。

$A x = b$ で $b \in / im A$ の場合、厳密な解はありません。そこで $∥ A x - b ∥$ を最小にする $x$ を探します。

$A x$ は $im A$ の中を動きます。したがって求めるのは、 $b$ に最も近い $im A$ の点です。

最短距離を与えるのは正射影でした。つまり $A x = proj_{im A} b$ を解けばよいことになります。

正規方程式の導出

条件を書き下します。 $b - A x$ が $im A$ と直交すればよいのです。

前に見たとおり $(im A)^{⊥} = ker A^{T}$ でした。したがって条件は $A^{T} (b - A x) = 0$ 、整理して

$A^{T} A x = A^{T} b$

となります。これを正規方程式といいます。

もとの方程式に $A^{T}$ を掛けただけの形ですが、意味は直交条件です。 $A$ の列が線形独立なら $A^{T} A$ は正則で、解は一意に定まります。

例: 回帰直線を求める

3 点 $(1, 1)$ 、 $(2, 2)$ 、 $(3, 2)$ に直線 $y = a + b x$ を当てはめます。

3 点を通る直線はないので、厳密な解はありません。行列で書くと次の形です。

$A = 111123, b = 122$

正規方程式の材料を計算します。

$A^{T} A = (36614), A^{T} b = (511)$

$3 a + 6 b = 5$ と $6 a + 14 b = 11$ を解くと $b = \frac{1}{2}$ 、 $a = \frac{2}{3}$ が出ます。求める直線は $y = \frac{2}{3} + \frac{1}{2} x$ です。

残差は直交する

いま求めた直線の残差を見ておくと、理屈が目に見えます。

予測値は順に $\frac{7}{6}$ 、 $\frac{5}{3}$ 、 $\frac{13}{6}$ なので、残差は $- \frac{1}{6}$ 、 $\frac{1}{3}$ 、 $- \frac{1}{6}$ です。

$A$ の第 1 列 $(1, 1, 1)$ との内積は $- \frac{1}{6} + \frac{1}{3} - \frac{1}{6} = 0$ 。第 2 列 $(1, 2, 3)$ との内積も $- \frac{1}{6} + \frac{2}{3} - \frac{1}{2} = 0$ です。

残差が列空間と直交する、というのが最小二乗法の正体でした。統計で「残差の和が $0$ になる」と習うのは、定数項の列との直交条件のことです。

import numpy as np

A = np.array([[1.0, 1.0],
              [1.0, 2.0],
              [1.0, 3.0]])
b = np.array([1.0, 2.0, 2.0])

# 正規方程式 A^T A x = A^T b を解く
x = np.linalg.solve(A.T @ A, A.T @ b)
print(x)          # [0.66666667 0.5]

r = b - A @ x                       # 残差
print(np.allclose(A.T @ r, 0))      # True 列空間と直交している

フーリエ級数も正射影

無限次元でも、 $W$ が有限次元なら分解定理が使えるのでした。その典型がフーリエ級数です。

$[- π, π]$ 上の連続関数に $⟨ f, g ⟩ = \int_{- π}^{π} f g d x$ を入れます。三角関数の組 $1, cos x, sin x, \dots, cos N x, sin N x$ は互いに直交します。

これらが張る有限次元部分空間を $W_{N}$ とすると、 $f$ のフーリエ級数の第 $N$ 部分和は $proj_{W_{N}} f$ にほかなりません。

フーリエ係数を求める積分の式が、正規直交基底による射影の公式そのものになっています。そして最短距離の性質から、部分和は $W_{N}$ の中で $f$ を 2 乗平均の意味で最もよく近似する関数だと分かります。

対称行列の固有空間は直交する

直交分解が自然に現れるもう 1 つの場面が、対称行列の対角化です。

$A$ を実対称行列、 $A v = λ v$ 、 $A w = μ w$ 、 $λ \neq = μ$ とします。

対称性から $⟨ A v, w ⟩ = ⟨ v, A w ⟩$ が成り立つので

$λ ⟨ v, w ⟩ = μ ⟨ v, w ⟩$

となり、 $(λ - μ) ⟨ v, w ⟩ = 0$ から $⟨ v, w ⟩ = 0$ が出ます。

異なる固有値の固有ベクトルは自動的に直交する、というわけです。

例: 2 次の対称行列

具体的に見ておきます。

$A = (2112)$

固有値は $3$ と $1$ で、固有ベクトルはそれぞれ $(1, 1)$ と $(1, - 1)$ です。

内積は $1 - 1 = 0$ で、たしかに直交しています。狙って選んだわけではなく、対称性から自動的にそうなりました。

正規化すれば $\frac{1}{2} (1, 1)$ と $\frac{1}{2} (1, - 1)$ が正規直交基底になり、 $R^{2}$ がこの 2 方向に直交分解されます。

スペクトル分解

前節を一般化すると、実対称行列は直交行列で対角化できる、という定理になります。

固有値ごとの固有空間を $E_{λ_{1}}, \dots, E_{λ_{r}}$ とすると、 $R^{n}$ はこれらの直交直和になります。

各 $E_{λ_{i}}$ への正射影を $P_{i}$ と書けば

$A = λ_{1} P_{1} + λ_{2} P_{2} + \dots + λ_{r} P_{r}$

と表せます。これをスペクトル分解といいます。

行列を、直交する方向への射影の重み付き和として書き直した形です。直交補空間による分解が、対称行列の構造そのものを記述しています。

無限次元では崩れる

最後に、有限次元という仮定がどこで効いていたかを見ておきます。

$W$ が有限次元でないと、 $V = W \oplus W^{⊥}$ が成り立たなくなることがあります。存在の証明で有限個の正規直交基底を使ったので、そのままでは通用しません。

ヒルベルト空間、つまり完備な内積空間で $W$ が閉部分空間なら、分解は成り立ちます。完備性が有限次元性の代わりを務めてくれるのです。

逆に言えば、 $W$ が閉でない場合や空間が完備でない場合には崩れます。大学初年度で扱う範囲では有限次元しか出てこないので気にする必要はありませんが、関数解析に進むと最初に注意される点です。

$(W^{⊥})^{⊥} = W$ が破れる例

二重直交補空間の性質も無限次元では成り立ちません。反例が簡単に作れます。

$V = ℓ^{2}$ 、つまり $\sum ∣ x_{n} ∣^{2} < \infty$ を満たす数列全体とし、 $W$ を「有限個の成分だけが $0$ でない数列」全体とします。

$x \in W^{⊥}$ とすると、各 $n$ について $e_{n} \in W$ との内積が $0$ 、つまり $x_{n} = 0$ です。よって $W^{⊥} = {0}$ になります。

したがって $(W^{⊥})^{⊥} = {0}^{⊥} = ℓ^{2}$ です。 $W$ は $ℓ^{2}$ 全体ではないので、 $(W^{⊥})^{⊥} \neq = W$ が起きました。

正しい形は $(W^{⊥})^{⊥} = \overline{W}$ 、つまり $W$ の閉包になります。実際 $W$ は $ℓ^{2}$ で稠密なので、閉包は $ℓ^{2}$ 全体です。

理解の確認

$R^{3}$ で $W = span {(1, 1, 0)}$ とする。 $v = (3, 1, 2)$ の $W^{⊥}$ 成分はどれか。

$(2, 2, 0)$
$(1, - 1, 2)$
$(3, 1, 2)$

__RESULT__

$W$ への正射影は $\frac{⟨ v , u ⟩}{⟨ u , u ⟩} u = \frac{4}{2} (1, 1, 0) = (2, 2, 0)$ です。 $W^{⊥}$ 成分はそこから引いた残りで $(3, 1, 2) - (2, 2, 0) = (1, - 1, 2)$ になります。検算すると $⟨(1, - 1, 2), (1, 1, 0)⟩ = 1 - 1 + 0 = 0$ で、たしかに直交しています。 $(2, 2, 0)$ のほうは $W$ 成分です。

参考文献

行列の 4 つの部分空間という見方は Gilbert Strang が広めたもので、線形代数の基本定理と呼ばれています。MIT OpenCourseWare の 18.06 Linear Algebra で講義動画と資料が公開されています。

直交性と正射影を扱う第 4 週あたりが、この記事の中盤に対応します。最小二乗法と正規方程式の導出も同じところにあります。

グラム・シュミットの直交化法とルジャンドル多項式の関係は、Wikipedia の Legendre polynomials にまとまっています。区間 $[- 1, 1]$ での直交性から定義する流儀と、母関数から定義する流儀の対応も書かれています。

無限次元での注意点は、ヒルベルト空間論の教科書に譲るのが確実です。nLab の Hilbert space が、閉部分空間についての直交分解定理と $(W^{⊥})^{⊥} = \overline{W}$ の形を簡潔に述べています。

直交補空間と直交分解定理を計算例中心で解説します。$W^\perp$ の求め方、正射影と射影行列、グラム・シュミット、行列の 4 つの部分空間、最小二乗法までを大学初年度向けに扱います。

直交補空間と直交分解定理｜定義から正射影・最小二乗法までわかりやすく解説

内積と直交

直交補空間の定義

W⊥ は部分空間になる

W と W⊥ が共有するのは 0 だけ

生成元だけ調べればよい

極端な例

例: R2 の直線

例: R3 の xy 平面

例: R3 の直線

例: 平面 x+y+z=0

例: R4 の 2 次元部分空間

例: 偶関数と奇関数

例: 対称行列と交代行列

次元公式

直交分解定理

存在の証明

一意性の証明

直和とは何か

二重直交補空間

正射影

正規直交基底による公式

例: 直線への射影を計算する

例: 平面への射影を計算する

直交していない基底では使えない

射影を計算する

射影行列

射影行列の性質

I−P は補空間への射影

正射影は最短距離を与える

証明は三平方の定理

例: 点と平面の距離

グラム・シュミットの直交化法

なぜうまくいくか

例: R3 で直交化する

例: 3 本目を計算する

例: ルジャンドル多項式

QR 分解との関係

行列の 4 つの部分空間

核と行空間は直交補空間

階数・退化次数の定理が出てくる

例: 具体的な行列で確かめる

例: 値域側の 2 つ

最小二乗法

正規方程式の導出

例: 回帰直線を求める

残差は直交する

フーリエ級数も正射影

対称行列の固有空間は直交する

例: 2 次の対称行列

スペクトル分解

無限次元では崩れる

(W⊥)⊥=W が破れる例

理解の確認

参考文献

$W^{⊥}$ は部分空間になる

$W$ と $W^{⊥}$ が共有するのは $0$ だけ

例: $R^{2}$ の直線

例: $R^{3}$ の $x y$ 平面

例: $R^{3}$ の直線

例: 平面 $x + y + z = 0$

例: $R^{4}$ の 2 次元部分空間

$I - P$ は補空間への射影

例: $R^{3}$ で直交化する

$(W^{⊥})^{⊥} = W$ が破れる例