特異値分解（SVD）の定義と意味

特異値分解（SVD）は、任意の行列を3つの行列の積に分解する手法である。正方行列に限らず適用でき、データ解析や数値計算で広く用いられる。

特異値分解の定義

$m\times n$ 行列 $A$ は次のように分解できる。

$$A=U\Sigma V^T$$

ここで $U$ は $m\times m$ 直交行列、$V$ は $n\times n$ 直交行列、$\Sigma$ は $m\times n$ 行列で、対角成分のみが非零である。$\Sigma$ の対角成分 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$ を $A$ の特異値と呼ぶ。

$U$ の列を左特異ベクトル、$V$ の列を右特異ベクトルという。

特異値の性質

特異値は $A^{T}A$ の固有値の平方根に等しい。$A^{T}A$ は半正定値対称行列なので、固有値は非負であり、その平方根が特異値となる。

$${\sigma }_i=\sqrt{{\lambda }_i(A^{T}A)}$$

右特異ベクトルは $A^{T}A$ の固有ベクトル、左特異ベクトルは $A{A}^T$ の固有ベクトルである。

非零の特異値の個数は $A$ のランクに等しい。

具体例

次の行列を特異値分解する。

$$A=\left(\begin{array}{cc}1& 0\\ 0& 2\\ 0& 0\end{array}\right)$$

$A^{T}A=3$ の固有値は 4 と 1 なので、特異値は ${\sigma }_1=2$, ${\sigma }_2=1$ である。

$V$ は $A^{T}A$ の固有ベクトルを並べた行列で $V=4$（列の順序は特異値に対応）。

$U$ は $A{A}^T$ の固有ベクトルから構成され、$\Sigma$ は $5$ となる。

応用

特異値分解は多くの分野で応用される。

SVD は数値的に安定な分解であり、条件数の計算や最小二乗問題の解法にも用いられる。