特異値分解を手で求める - 固有値から特異値へ進む演習

$A^{\mathsf{T}}A$ の固有値を求め、平方根をとると特異値になる^[2]。手計算はこの一手で始まる。

$${\sigma }_i=\sqrt{{\lambda }_i},{\lambda }_i\text{ は }{A}^{\mathsf{T}}A\text{ の固有値}$$

$A^{\mathsf{T}}A$ は対称で半正定値なので、固有値は必ず $0$ 以上。平方根が実数になることが保証されている^[1]。

固有ベクトルを並べたものが $V$、$u_i=A{v}_i/{\sigma }_i$ で作るのが $U$ である。

以下 12 問。特異値だけを求める問題から、$U$ と $V$ を組み立てる問題、ノルムや擬似逆行列への応用まで並べた。

手順

$m$ と $n$ の小さいほうを選ぶと計算が軽い。$A$ が横長なら $A{A}^{\mathsf{T}}$ のほうが小さくなる^[2]。

$U$ の列は $A{A}^{\mathsf{T}}$ の固有ベクトル、$V$ の列は $A^{\mathsf{T}}A$ の固有ベクトルである^[3]。どちらから出発しても、同じ分解に着く。

問題 1

$$A=\left(\begin{array}{cc}3& 0\\ 0& 2\end{array}\right)$$

$A^{\mathsf{T}}A=\mathrm{diag}(9,4)$。固有値は $9$ と $4$ で、特異値は $3$ と $2$ である。

対角行列で成分が正なら、特異値は対角成分そのものになる。

問題 2

$$A=\left(\begin{array}{cc}3& 0\\ 0& -2\end{array}\right)$$

$A^{\mathsf{T}}A=\mathrm{diag}(9,4)$ で、問題 1 と同じ。特異値も $3$ と $2$ である。

特異値は必ず $0$ 以上になる。負号は $U$ か $V$ の側へ吸収される。

問題 3

$$A=\left(\begin{array}{cc}1& 0\\ 0& 2\\ 0& 0\end{array}\right)$$

$A^{\mathsf{T}}A=\mathrm{diag}(1,4)$。大きい順に並べると ${\lambda }_1=4$、${\lambda }_2=1$ で ${\sigma }_1=2$、${\sigma }_2=1$。

固有ベクトルは $\lambda =4$ が $(0,1)$、$\lambda =1$ が $(1,0)$。この順に並べて $V$ を作る。

$u_1=A{v}_1/{\sigma }_1=(0,2,0)/2=(0,1,0)$、$u_2=A{v}_2/{\sigma }_2=(1,0,0)$。$3$ 列目は残る方向の $(0,0,1)$ で埋める。

$$U=\left(\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right),\Sigma =\left(\begin{array}{cc}2& 0\\ 0& 1\\ 0& 0\end{array}\right),V=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$$

問題 4

$$B=\left(\begin{array}{cc}1& 1\\ 1& 0\\ 0& 1\end{array}\right)$$

$B^{\mathsf{T}}B$ の $(1,1)$ 成分は $1+1+0=2$、$(1,2)$ 成分は $1+0+0=1$。

$$B^{\mathsf{T}}B=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$

固有多項式は ${\lambda }^2-4\lambda +3$ で $\lambda =3,1$。特異値は $\sqrt{3}$ と $1$ である。

$\lambda =3$ の固有ベクトルは $(1,1)/\sqrt{2}$、$\lambda =1$ は $(1,-1)/\sqrt{2}$。

$u_1=B{v}_1/\sqrt{3}=(2,1,1)/(\sqrt{2}\sqrt{3})=(2,1,1)/\sqrt{6}$ になる。

問題 5

$$C=\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right)$$

$C^{\mathsf{T}}C$ を計算すると、対角が $5$ と $20$、非対角が $10$。

$$C^{\mathsf{T}}C=\left(\begin{array}{cc}5& 10\\ 10& 20\end{array}\right)$$

トレースは $5+20=25$、行列式は $5\cdot 20-10\cdot 10=0$。和が $25$ で積が $0$ なので、固有値は $25$ と $0$ である。

特異値は $5$ と $0$。$0$ でない特異値が $1$ 個なので、階数は $1$^[2]。

実際 $C$ の第 2 行は第 1 行の $2$ 倍で、行が一次従属になっている。

問題 6

回転行列の特異値を求めよ。

$$Q=\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)$$

$Q^{\mathsf{T}}Q=I$ なので、固有値はどちらも $1$。特異値は $1$ と $1$ である。

長さを変えない写像なので、単位円が単位円のまま移る。楕円がつぶれも伸びもしない。

直交行列の特異値はすべて $1$。逆に、特異値がすべて $1$ の正方行列は直交行列である^[1]。

問題 7

$$D=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$

対称で正定値である。固有値は $3$ と $1$ で、どちらも正。

$D^{\mathsf{T}}D=D^2$ の固有値は $9$ と $1$ なので、特異値は $3$ と $1$。固有値と一致した。

対称正定値なら、特異値と固有値が同じになる。$D^2$ の固有値が ${\lambda }^2$ で、平方根をとると $|\lambda |=\lambda$ に戻るためである。

問題 8

$$E=\left(\begin{array}{cc}1& 2\\ 2& 1\end{array}\right)$$

対称だが固有値は $3$ と $-1$ で、負のものがある。

$E^2$ の固有値は $9$ と $1$ なので、特異値は $3$ と $1$。負号が消えている。

対称行列の特異値は、固有値の絶対値になる。符号の情報は $U$ と $V$ の関係に移る。

問題 9

問題 4 の $B$ について、$\Vert B{\Vert }_2$ と $\Vert B{\Vert }_F$ を求めよ。

作用素ノルムは最大特異値なので $\Vert B{\Vert }_2=\sqrt{3}$。

フロベニウスノルムは特異値の二乗和の平方根である。$3+1=4$ より $\Vert B{\Vert }_F=2$。

成分から直接計算しても確かめられる。$1+1+1+0+0+1=4$ で一致する。

問題 10

問題 4 の $B$ の条件数を求めよ。

条件数は最大と最小の特異値の比である。

$$\kappa (B)=\frac{{\sigma }_1}{{\sigma }_2}=\frac{\sqrt{3}}{1}=\sqrt{3}$$

$1$ に近いほど扱いやすく、大きいほど計算が不安定になる。${\sigma }_{\min }=0$ なら条件数は無限大で、正則ではない。

問題 11

$$F=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\end{array}\right)$$

$2\times 3$ なので、$F^{\mathsf{T}}F$ は $3$ 次、$F{F}^{\mathsf{T}}$ は $2$ 次になる。小さいほうを選ぶ。

$F{F}^{\mathsf{T}}$ の $(1,1)$ 成分は $1+0+1=2$、$(2,2)$ 成分は $1$、非対角は $0$。

固有値は $2$ と $1$ なので、特異値は $\sqrt{2}$ と $1$。$0$ でないものが $2$ 個なので階数は $2$ である。

$3$ 次の $F^{\mathsf{T}}F$ を計算しても、固有値は $2,1,0$ で同じ答えに着く。$0$ が 1 つ増えるだけ。

問題 12

問題 5 の $C$ の擬似逆行列を求めよ。

${\sigma }_1=5$、$v_1=(1,2)/\sqrt{5}$、$u_1=C{v}_1/5=(5,10)/(5\sqrt{5})=(1,2)/\sqrt{5}$ である。

階数 $1$ なので $C={\sigma }_1{u}_1{v}_1^{\mathsf{T}}$ と書ける。擬似逆行列は $0$ でない特異値だけ逆数にする。

$$C^{+}=\frac{1}{{\sigma }_1}{v}_1{u}_1^{\mathsf{T}}=\frac{1}{25}\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right)$$

$\sigma =0$ の方向は逆数がとれないので、そのまま $0$ にする。ここが逆行列との違いである。

補足

特異値は、単位円が楕円へ移るときの軸の長さにあたる。${\sigma }_1$ が長軸、${\sigma }_n$ が短軸である^[1]。

$0$ の特異値がある行列は、その方向をつぶす。つぶれた次元の数が $n-\mathrm{rank}$ になる。

手計算では $A^{\mathsf{T}}A$ の固有値を求めるので、$A$ の情報が $2$ 乗されて渡る。数値計算ではこの $2$ 乗が精度を落とすため、別の手順が使われる。

対称行列の場合も確かめる。

$A^{\mathsf{T}}A$ を作って固有値を出し、平方根をとる。$V$ はその固有ベクトル、$U$ は $A{v}_i$ を長さで割ったもの。手順としては、対称行列の対角化に $1$ 段足しただけである。

参考文献