スペクトル分解（対称行列の対角化）

スペクトル分解は、対称行列（または正規行列）をその固有値と固有ベクトルを用いて分解する手法である。行列のスペクトル（固有値の集合）が分解に現れることから、この名がある。

対称行列のスペクトル分解

実対称行列 $A$ は直交行列によって対角化できる。すなわち、直交行列 $Q$ と対角行列 $D$ が存在して

$A = Q D Q^{T}$

と分解できる。 $D$ の対角成分は $A$ の固有値 $λ_{1}, \dots, λ_{n}$ であり、 $Q$ の列ベクトルは対応する固有ベクトル $q_{1}, \dots, q_{n}$ である。

この分解を展開すると、次のスペクトル分解が得られる。

$A = i = 1 \sum n λ_{i} q_{i} q_{i}^{T}$

各項 $q_{i} q_{i}^{T}$ は $q_{i}$ の張る1次元部分空間への直交射影行列（ランク 1 の行列）である。

$Q = (q_{1} q_{2} \dots q_{n})$ とし、 $D = diag (λ_{1}, \dots, λ_{n})$ とする。

$Q D Q^{T} = i = 1 \sum n λ_{i} q_{i} q_{i}^{T}$

が成り立つことは、行列積の定義から直接確認できる。 $q_{i} q_{i}^{T}$ は $n \times n$ 行列であり、その $(j, k)$ 成分は $q_{i}$ の第 $j$ 成分と第 $k$ 成分の積である。

次の対称行列をスペクトル分解する。

$A = (3113)$

固有値は $λ_{1} = 4$ , $λ_{2} = 2$ であり、正規化した固有ベクトルは

$q_{1} = \frac{1}{2} (11), q_{2} = \frac{1}{2} (1 - 1)$

である。スペクトル分解は

$A = 4 \cdot \frac{1}{2} (1111) + 2 \cdot \frac{1}{2} (1 - 1 - 1 1)$

と書ける。

スペクトル分解は多くの場面で活用される。

行列の関数を定義する際、 $f (A) = \sum_{i} f (λ_{i}) q_{i} q_{i}^{T}$ と定めることができる。たとえば $A$ が正定値なら $A^{1/2} = \sum_{i} λ_{i} q_{i} q_{i}^{T}$ である。

主成分分析（PCA）では、共分散行列のスペクトル分解が本質的な役割を果たす。固有値の大きい方向が分散の大きい主成分となる。

低ランク近似にも用いられる。固有値の大きいものだけを残せば、もとの行列の近似が得られる。