射影行列とべき等行列

ベクトルをある部分空間に「落とす」操作を射影と呼びます。この操作を行列で表したものが射影行列であり、射影行列は $P^{2} = P$ という性質を持ちます。この性質を持つ行列をべき等行列（idempotent matrix）と呼びます。射影行列は最小二乗法や統計学など多くの場面で現れる基本的な概念です。

べき等行列の定義

正方行列 $P$ が

$P^{2} = P$

を満たすとき、 $P$ をべき等行列と呼びます。 $P$ を 2 回適用しても 1 回適用したときと結果が変わらないという意味です。

零行列 $O$ と単位行列 $I$ はどちらもべき等行列です。 $O^{2} = O$ であり $I^{2} = I$ だからです。これらは自明な例ですが、もっと興味深い例が射影行列として現れます。

具体例を 1 つ見てみます。

$P = (1000)$

に対して

$P^{2} = (1000) (1000) = (1000) = P$

が成り立ちます。この行列はベクトル $(x, y)^{T}$ を $(x, 0)^{T}$ に写す操作、すなわち $x$ 軸への射影に対応しています。

べき等行列の基本性質

$P$ がべき等行列であるとき、 $I - P$ もべき等行列です。

$(I - P)^{2} = I - 2 P + P^{2} = I - 2 P + P = I - P$

この $I - P$ は $P$ の補射影と呼ばれます。

$P$ が部分空間 $W$ への射影なら、 $I - P$ は $W$ の補空間への射影になる。

さらに、べき等行列の固有値は 0 または 1 のみです。 $P v = λ v$ （ $v \neq = 0$ ）とすると

$P^{2} v = P (P v) = P (λ v) = λ P v = λ^{2} v$

一方 $P^{2} = P$ なので $P^{2} v = P v = λ v$ です。したがって $λ^{2} v = λ v$ であり、 $v \neq = 0$ から $λ^{2} = λ$ 、すなわち $λ (λ - 1) = 0$ が得られます。固有値は $λ = 0$ か $λ = 1$ のどちらかです。

この事実から、べき等行列のトレースとランクの間に重要な関係が導かれます。トレースは固有値の和に等しいため

$tr (P) = rank (P)$

が成り立ちます。固有値が 0 と 1 だけなので、固有値の和は 1 の個数、すなわちランクに一致するわけです。

射影行列の定義

べき等行列のうち、対称性を持つものが直交射影行列です。 $P$ が

$P^{2} = P, P^{T} = P$

の両方を満たすとき、 $P$ を直交射影行列と呼びます。単にべき等なだけの行列は斜交射影に対応し、対称性が加わると直交射影になります。

斜交射影

$P^{2} = P$ のみ。射影先の部分空間と射影方向が直交するとは限らない。

直交射影

$P^{2} = P$ かつ $P^{T} = P$ 。射影先の部分空間とその直交補空間への分解に対応する。

以下では、特に断りがなければ射影行列は直交射影行列を指すものとします。

部分空間への直交射影行列の構成

$R^{n}$ の部分空間 $W$ の基底を列ベクトルとして並べた行列を $A$ （ $n \times k$ 行列、 $k = dim W$ ）とします。 $A$ の列が一次独立であるとき、 $W$ への直交射影行列は

$P = A (A^{T} A)^{- 1} A^{T}$

で与えられます。 $A^{T} A$ は $A$ の列が一次独立なら正則であるため、逆行列が存在します。

この公式が $P^{2} = P$ を満たすことを確かめます。

$P^{2} = A (A^{T} A)^{- 1} A^{T} \cdot A (A^{T} A)^{- 1} A^{T} = A (A^{T} A)^{- 1} (A^{T} A) (A^{T} A)^{- 1} A^{T} = A (A^{T} A)^{- 1} A^{T} = P$

途中で $A^{T} A$ と $(A^{T} A)^{- 1}$ が打ち消し合っています。 $P^{T} = P$ も同様に確認できます。

$P^{T} = (A (A^{T} A)^{- 1} A^{T})^{T} = A ((A^{T} A)^{- 1})^{T} A^{T} = A ((A^{T} A)^{T})^{- 1} A^{T} = A (A^{T} A)^{- 1} A^{T} = P$

$A^{T} A$ が対称行列であることを使いました。

1 次元部分空間への射影

$W$ が 1 本のベクトル $a$ で張られる場合、 $A = a$ （列ベクトル）であり、 $A^{T} A = a^{T} a = ∥ a ∥^{2}$ はスカラーになります。したがって

$P = \frac{a a ^{T}}{a ^{T} a}$

です。ベクトル $x$ に $P$ を適用すると

$P x = \frac{a a ^{T} x}{a ^{T} a} = \frac{a ^{T} x}{a ^{T} a} a$

となり、これは $x$ の $a$ 方向への正射影ベクトルそのものです。

具体的に $a = (1, 1)^{T}$ の場合を計算します。

$P = \frac{1}{2} (11) (11) = \frac{1}{2} (1111)$

$x = (3, 1)^{T}$ に適用すると

$P x = \frac{1}{2} (1111) (31) = \frac{1}{2} (44) = (22)$

です。 $(3, 1)$ を直線 $y = x$ に落とした点が $(2, 2)$ であり、幾何的にも正しい結果になっています。

射影と直交分解

射影行列 $P$ を使うと、任意のベクトル $x$ を

$x = P x + (I - P) x$

と分解できます。 $P x \in W$ であり $(I - P) x \in W^{⊥}$ です。ここで $W^{⊥}$ は $W$ の直交補空間です。

この 2 つの成分が直交していることは内積で確認できます。

$(P x)^{T} ((I - P) x) = x^{T} P^{T} (I - P) x = x^{T} P (I - P) x = x^{T} (P - P^{2}) x = x^{T} \cdot O \cdot x = 0$

$P^{T} = P$ と $P^{2} = P$ の両方を使っています。この直交分解は $R^{n} = W \oplus W^{⊥}$ という直和分解に対応しています。

正規直交基底がある場合

$W$ の正規直交基底 ${u_{1}, \dots, u_{k}}$ が与えられている場合、射影行列の公式はさらに簡単になります。 $U = (u_{1} \dots u_{k})$ とすると $U^{T} U = I_{k}$ （ $k$ 次単位行列）なので

$P = U (U^{T} U)^{- 1} U^{T} = U U^{T}$

です。 $(A^{T} A)^{- 1}$ の計算が不要になるため、正規直交基底を先にグラム・シュミットの正規直交化法で求めてから射影行列を構成する方法が実用上は便利です。

一般の基底から構成

$P = A (A^{T} A)^{- 1} A^{T}$ 。 $A^{T} A$ の逆行列計算が必要。

正規直交基底から構成

$P = U U^{T}$ 。 $U^{T} U = I$ なので逆行列不要。計算が大幅に簡略化される。

最小二乗法との関係

連立方程式 $A x = b$ が解を持たないとき（ $b \in / Im (A)$ のとき）、 $∥ A x - b ∥$ を最小にする $x$ を求めるのが最小二乗法です。この最小二乗解は正規方程式

$A^{T} A \hat{x} = A^{T} b$

を解くことで得られます。このとき $A \hat{x}$ は $b$ を $Im (A)$ に直交射影したものであり

$A \hat{x} = A (A^{T} A)^{- 1} A^{T} b = P b$

です。最小二乗法の幾何的な意味は、 $b$ に最も近い $Im (A)$ 内の点を射影行列で求めることにほかなりません。

行列 $P$ がべき等（ $P^{2} = P$ ）であるとき、 $P$ の固有値として取りうる値はどれですか？

$- 1$ と $1$
$0$ と $2$
$0$ と $1$
任意の実数

__RESULT__

$P v = λ v$ と $P^{2} = P$ から $λ^{2} = λ$ が導かれ、 $λ = 0$ または $λ = 1$ に限られます。

$P = A (A^{T} A)^{- 1} A^{T}$ で構成される射影行列について、 $tr (P)$ は何に等しいですか？

$A$ の行数
$A$ の列数（ $= dim W$ ）
$det (A^{T} A)$

__RESULT__

べき等行列のトレースはランクに等しく、 $P$ のランクは射影先の部分空間の次元、すなわち $A$ の列数に一致します。