行列のノルム｜フロベニウス・作用素ノルム・スペクトル半径の関係

行列のノルムは行列の大きさを測る尺度である。誤差がどれだけ増幅されるか、反復がいつ収束するかといった問いが、すべてこの一つの数に集約される。

ベクトルのノルムと違い、積についての条件が加わる。行列は掛け合わせるものなので、積の大きさが制御できないと役に立たないからである。

なぜ行列の大きさを測るのか

連立方程式 $Ax=b$ で、右辺 $b$ に小さな誤差が入ったとする。解 $x$ はどれだけずれるか。

答えは $A$ の性質だけで決まる。ずれは $A^{-1}$ を通して伝わるので、$A^{-1}$ がどれだけベクトルを伸ばすかが効いてくる。

反復法 $x_{k+1}=A{x}_k$ が収束するかどうかも同じである。$A$ を掛けるたびにベクトルが縮むなら収束し、伸びるなら発散する。

「どれだけ伸ばすか」を一つの数にしたものが行列のノルムである。以下では公理を確かめ、代表的なノルムを計算し、誤差と収束の評価まで進む。

ノルムの公理

行列全体の集合の上の関数 $\Vert \cdot \Vert$ が次を満たすとき、行列ノルムという。

はじめの 3 つはベクトルのノルムと同じで、正定値性、斉次性、三角不等式である。行列を並べ替えて長いベクトルと見れば自動的に意味を持つ。

4 つめだけが行列に固有である。これを劣乗法性という。

劣乗法性がなぜ要るか

劣乗法性があると、積の大きさが因子の大きさで抑えられる。とくに $\Vert A^k\Vert \le \Vert A{\Vert }^k$ が従う。

これが効くのは反復法である。$\Vert A\Vert <1$ なら $\Vert A^k\Vert \to 0$ となり、$x_{k+1}=A{x}_k$ が零に収束することがただちに分かる。

劣乗法性がなければ、行列を掛けるたびに大きさがどうなるか何も言えない。誤差の伝播も反復の収束も議論できなくなる。

一方で、この条件は自動的には成り立たない。あとで見るように、成分の絶対値の最大値をノルムにすると劣乗法性が破れる。

作用素ノルムの定義

いちばん自然な作り方は、ベクトルノルムから誘導することである。ベクトルノルム $\Vert \cdot \Vert$ を一つ固定する。

$$\Vert A\Vert =\underset{x\ne 0}{\max }\frac{\Vert Ax\Vert }{\Vert x\Vert }=\underset{\Vert x\Vert =1}{\max }\Vert Ax\Vert$$

これを作用素ノルム、または誘導ノルムという。単位ベクトルをどれだけ伸ばせるかの最大値である。

有限次元では単位球面がコンパクトで $\Vert Ax\Vert$ は連続なので、最大値は必ず達成される。上限ではなく最大値と書いてよい。

定義からただちに $\Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert$ が任意の $x$ で成り立つ。この不等式が以後すべての計算の土台になる。

作用素ノルムは劣乗法的

作用素ノルムは公理を全部満たす。はじめの 3 つはベクトルノルムから直接従うので、劣乗法性を確かめる。

任意の $x$ について、さきほどの不等式を 2 回使う。

$$\Vert ABx\Vert \le \Vert A\Vert \Vert Bx\Vert \le \Vert A\Vert \Vert B\Vert \Vert x\Vert$$

$\Vert x\Vert =1$ で最大を取れば $\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$ である。

同時に $\Vert I\Vert =1$ も分かる。$\Vert Ix\Vert =\Vert x\Vert$ なので比はつねに 1 だからである。この値は後で判定に使う。

1-ノルムは列和の最大値

ベクトルの $1$-ノルム $\Vert x{\Vert }_1={\sum }_j|x_j|$ から誘導されるノルムを求める。答えは列ごとの絶対値和の最大値である。

$$\Vert A{\Vert }_1=\underset{j}{\max }\sum _i|a_{ij}|$$

右辺を $C$ と置く。まず $\Vert Ax{\Vert }_1\le C\Vert x{\Vert }_1$ を示す。

$$\Vert Ax{\Vert }_1=\sum _i\left|\sum _j{a}_{ij}{x}_j\right|\le \sum _j|x_j|\sum _i|a_{ij}|\le C\sum _j|x_j|$$

途中で和の順序を入れ替え、内側の和を $C$ で抑えた。これで $\Vert A{\Vert }_1\le C$ である。

等号が達成されることも見る。最大を与える列の番号を $k$ とし、$x$ を第 $k$ 標準基底ベクトルに取る。

$\Vert x{\Vert }_1=1$ であり、$Ax$ は $A$ の第 $k$ 列そのものなので $\Vert Ax{\Vert }_1={\sum }_i|a_{ik}|=C$ となる。よって $\Vert A{\Vert }_1=C$ である。

∞-ノルムは行和の最大値

ベクトルの $\infty$-ノルム $\Vert x{\Vert }_{\infty }={\max }_j|x_j|$ から誘導されるノルムは、行ごとの絶対値和の最大値になる。

$$\Vert A{\Vert }_{\infty }=\underset{i}{\max }\sum _j|a_{ij}|$$

右辺を $R$ と置く。上からの評価はやはり素直である。

$$\Vert Ax{\Vert }_{\infty }=\underset{i}{\max }\left|\sum _j{a}_{ij}{x}_j\right|\le \underset{i}{\max }\sum _j|a_{ij}||x_j|\le R\Vert x{\Vert }_{\infty }$$

等号の達成には $x$ を工夫する。最大を与える行の番号を $k$ とし、成分を $x_j=\mathrm{sgn}(a_{kj})$ と取る（複素数なら $a_{kj}$ の共役を絶対値で割る）。

このとき $\Vert x{\Vert }_{\infty }=1$ であり、$Ax$ の第 $k$ 成分は ${\sum }_j|a_{kj}|=R$ になる。よって $\Vert A{\Vert }_{\infty }=R$ である。

1-ノルムは列を、$\infty$-ノルムは行を見る。転置を取ると入れ替わり、$\Vert A^T{\Vert }_1=\Vert A{\Vert }_{\infty }$ が成り立つ。

2-ノルムは最大特異値

ベクトルのユークリッドノルムから誘導されるノルムはスペクトルノルムと呼ばれ、最大特異値に等しい。

$$\Vert A{\Vert }_2={\sigma }_{\max }(A)$$

証明は二次形式に帰着する。$\Vert Ax{\Vert }_2^2=(Ax{)}^{\ast }(Ax)=x^{\ast }{A}^{\ast }Ax$ と書ける。

$A^{\ast }A$ はエルミートかつ半正定値なので、正規直交基底で対角化できる。固有値を ${\mu }_1\ge \cdots \ge {\mu }_n\ge 0$ とする。

$x$ をこの基底で展開して $x={\sum }_i{c}_i{v}_i$ と書くと、$\Vert x{\Vert }_2^2={\sum }_i|c_i{|}^2$ であり、二次形式は次のようになる。

$$x^{\ast }{A}^{\ast }Ax=\sum _i{\mu }_i|c_i{|}^2\le {\mu }_1\sum _i|c_i{|}^2={\mu }_1\Vert x{\Vert }_2^2$$

等号は $x=v_1$ で達成される。よって $\Vert A{\Vert }_2=\sqrt{{\mu }_1}$ である。

特異値は定義から ${\sigma }_i=\sqrt{{\mu }_i}$ なので、$\Vert A{\Vert }_2={\sigma }_{\max }$ が従う。

三つのノルムを計算する

$$A=\left(\begin{array}{cc}3& 0\\ 4& 5\end{array}\right)$$

$1$-ノルムは列和の最大値である。第 1 列が $3+4=7$、第 2 列が $0+5=5$ なので $\Vert A{\Vert }_1=7$ である。

$\infty$-ノルムは行和の最大値である。第 1 行が $3+0=3$、第 2 行が $4+5=9$ なので $\Vert A{\Vert }_{\infty }=9$ である。

$2$-ノルムには $A^{T}A$ が要る。

$$A^{T}A=\left(\begin{array}{cc}3& 4\\ 0& 5\end{array}\right)\left(\begin{array}{cc}3& 0\\ 4& 5\end{array}\right)=\left(\begin{array}{cc}25& 20\\ 20& 25\end{array}\right)$$

この行列の固有値は $25\pm 20$、つまり $45$ と $5$ である。特異値は $\sqrt{45}=3\sqrt{5}$ と $\sqrt{5}$ になる。

よって $\Vert A{\Vert }_2=3\sqrt{5}\approx 6.708$ である。同じ行列でも、どのノルムで測るかによって $5$ から $9$ まで値が動く。

フロベニウスノルム

成分をすべて並べて長いベクトルと見たときのユークリッドノルムを、フロベニウスノルムという。

$$\Vert A{\Vert }_F=\sqrt{\sum _{i,j}|a_{ij}{|}^2}=\sqrt{\mathrm{tr}(A^{\ast }A)}$$

トレースによる表示は、$A^{\ast }A$ の対角成分が各列の二乗和になることから従う。

$\mathrm{tr}(A^{\ast }A)$ は固有値の和でもあるので、特異値を使った表示も得られる。

$$\Vert A{\Vert }_F=\sqrt{{\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_r^2}$$

前の例では $\Vert A{\Vert }_F=\sqrt{9+0+16+25}=\sqrt{50}=5\sqrt{2}\approx 7.071$ である。特異値からも $\sqrt{45+5}=\sqrt{50}$ となって一致する。

計算に固有値が要らないので、実用ではまずフロベニウスノルムで大きさを見ることが多い。

フロベニウスノルムは劣乗法的

作用素ノルムでなくても、公理は満たす。劣乗法性をコーシー・シュワルツの不等式から示す。

積の成分は $(AB{)}_{ij}={\sum }_k{a}_{ik}{b}_{kj}$ である。これにコーシー・シュワルツを当てる。

$$|(AB{)}_{ij}{|}^2\le (\sum _k|a_{ik}{|}^2\left)\right(\sum _k|b_{kj}{|}^2)$$

右辺は $A$ の第 $i$ 行の二乗和と $B$ の第 $j$ 列の二乗和の積である。$i$ と $j$ について足し合わせると和が分離する。

$$\Vert AB{\Vert }_F^2\le (\sum _{i,k}|a_{ik}{|}^2\left)\right(\sum _{j,k}|b_{kj}{|}^2)=\Vert A{\Vert }_F^2\Vert B{\Vert }_F^2$$

平方根を取れば劣乗法性が得られる。したがってフロベニウスノルムは行列ノルムの公理をすべて満たす。

フロベニウスノルムは作用素ノルムでない

公理を満たすからといって、あるベクトルノルムから誘導されたとはかぎらない。フロベニウスノルムはその例である。

判定は単位行列で済む。作用素ノルムなら必ず $\Vert I\Vert =1$ だった。

ところが $n$ 次単位行列のフロベニウスノルムは、対角に $1$ が $n$ 個並ぶので次のようになる。

$$\Vert I_n{\Vert }_F=\sqrt{n}$$

$n\ge 2$ では $1$ より大きい。したがってフロベニウスノルムは、どんなベクトルノルムからも誘導されない。

「行列ノルムである」ことと「作用素ノルムである」ことは別の主張である。前者のほうが広い。

最大値ノルムは劣乗法的でない

逆に、公理を満たさない自然な候補もある。成分の絶対値の最大値を取ってみる。

$$\Vert A{\Vert }_{\max }=\underset{i,j}{\max }|a_{ij}|$$

これは正定値性も斉次性も三角不等式も満たす。ベクトルノルムとしては何の問題もない。

しかし劣乗法性が破れる。成分がすべて $1$ の $2$ 次行列を $A=B$ に取る。

$\Vert A{\Vert }_{\max }=1$ である。一方 $AB$ は成分がすべて $2$ の行列なので $\Vert AB{\Vert }_{\max }=2$ となる。

$2>1\cdot 1$ なので劣乗法性は成り立たない。行列の大きさを測るつもりで最大成分を見ると、積の評価ができなくなる。

ノルムどうしの比較

有限次元では、どの二つのノルムも定数倍で挟み合える。具体的な定数が分かる組み合わせもある。

たとえば $2$-ノルムとフロベニウスノルムは、特異値による表示から直接比べられる。${\sigma }_1^2\le {\sum }_i{\sigma }_i^2$ なので次が成り立つ。

$$\Vert A{\Vert }_2\le \Vert A{\Vert }_F\le \sqrt{r}\Vert A{\Vert }_2$$

ここで $r$ は $A$ の階数である。右側は ${\sum }_i{\sigma }_i^2\le r{\sigma }_1^2$ から従う。

$1$-ノルムと $\infty$-ノルムからは $2$-ノルムが抑えられる。

$$\Vert A{\Vert }_2\le \sqrt{\Vert A{\Vert }_1\Vert A{\Vert }_{\infty }}$$

証明はあとで述べるスペクトル半径を使う。$\Vert A{\Vert }_2^2=\rho (A^{\ast }A)\le \Vert A^{\ast }A{\Vert }_1\le \Vert A^{\ast }{\Vert }_1\Vert A{\Vert }_1=\Vert A{\Vert }_{\infty }\Vert A{\Vert }_1$ である。

前の例で確かめる。$\Vert A{\Vert }_1=7$、$\Vert A{\Vert }_{\infty }=9$ なので右辺は $\sqrt{63}\approx 7.937$ であり、$\Vert A{\Vert }_2\approx 6.708$ を確かに上から抑えている。

スペクトル半径

固有値の絶対値の最大値をスペクトル半径という。

$$\rho (A)=\max \{|\lambda |:\lambda \text{ は }A\text{ の固有値}\}$$

これは行列ノルムではない。零でない冪零行列は固有値がすべて $0$ なので $\rho =0$ になり、正定値性が破れるからである。

それでも収束の判定にはノルムより本質的な量である。次の 2 つの節でその位置づけを見る。

スペクトル半径はノルム以下

任意の作用素ノルムについて $\rho (A)\le \Vert A\Vert$ が成り立つ。

$\lambda$ を固有値、$v\ne 0$ を対応する固有ベクトルとする。$Av=\lambda v$ の両辺のノルムを取る。

$$|\lambda |\Vert v\Vert =\Vert Av\Vert \le \Vert A\Vert \Vert v\Vert$$

$\Vert v\Vert \ne 0$ で割れば $|\lambda |\le \Vert A\Vert$ である。すべての固有値について成り立つので $\rho (A)\le \Vert A\Vert$ となる。

実固有ベクトルを持たない実行列でも、複素数の範囲で考えれば同じ議論が通る。作用素ノルム以外の行列ノルムでも、固有ベクトルを並べた行列を使えば同様に示せる。

差が大きくなる場合

不等式 $\rho (A)\le \Vert A\Vert$ は、等号からいくらでも離れうる。

$$N=\left(\begin{array}{cc}0& 100\\ 0& 0\end{array}\right)$$

固有値は重複して $0$ だけなので $\rho (N)=0$ である。一方ノルムはどれで測っても $100$ になる。

$1$-ノルムは列和の最大値で $100$、$\infty$-ノルムは行和の最大値で $100$、$2$-ノルムも特異値が $100$ と $0$ なので $100$ である。

$\rho =0$ と $\Vert N\Vert =100$ の開きは、$N$ が対角化できないことから来る。ノルムは一回の作用を測るが、スペクトル半径は繰り返したときの振る舞いを測る。

実際 $N^2=O$ なので、二回作用させれば消える。一回の大きさだけ見ていては、この事実は見えない。

累乗が消えることとスペクトル半径

収束判定の核になる定理を示す。$A^k\to O$ となることと $\rho (A)<1$ は同値である。

まず $\rho (A)\ge 1$ とする。絶対値が $1$ 以上の固有値 $\lambda$ と固有ベクトル $v$ を取ると $A^{k}v={\lambda }^{k}v$ である。

$\Vert A^{k}v\Vert =|\lambda {|}^k\Vert v\Vert \ge \Vert v\Vert >0$ なので、$A^k$ は零に近づけない。

逆に $\rho (A)<1$ とする。ジョルダン標準形 $A=PJ{P}^{-1}$ を取ると $A^k=P{J}^k{P}^{-1}$ なので、各ジョルダン細胞の冪を見ればよい。

細胞は $\lambda I+N$（$N$ は冪零）と書ける。二項展開すると項数は細胞の大きさで抑えられ、各項は $\left(\genfrac{}{}{0ex}{}{k}{j}\right){\lambda }^{k-j}{N}^j$ の形である。

$|\lambda |<1$ なら $\left(\genfrac{}{}{0ex}{}{k}{j}\right)|\lambda {|}^{k-j}$ は $k^j|\lambda {|}^k$ 程度で、指数関数が多項式に勝つので $0$ に収束する。よって $A^k\to O$ である。

ノルムを使えば $\Vert A\Vert <1$ から $\Vert A^k\Vert \le \Vert A{\Vert }^k\to 0$ がすぐ出る。しかし $\Vert A\Vert \ge 1$ でも収束することがあり、そこを正確に捉えるのがスペクトル半径である。

ゲルファントの公式

一回の作用ではなく、繰り返したときの平均的な伸び率を測るとスペクトル半径そのものが現れる。

$$\rho (A)=\underset{k\to \infty }{\lim }\Vert A^k{\Vert }^{1/k}$$

これをゲルファントの公式という。どの行列ノルムを使っても同じ極限になる。

直観はこうである。$\Vert A^k\Vert \le \Vert A{\Vert }^k$ から $\Vert A^k{\Vert }^{1/k}\le \Vert A\Vert$ であり、この量はつねに $\rho (A)$ 以上でもある。$k$ を大きくすると、一回ぶんの見かけの大きさが均されて真の増大率に落ち着く。

前の例で確かめる。$N^2=O$ なので $k\ge 2$ では $\Vert N^k{\Vert }^{1/k}=0$ となり、$\rho (N)=0$ に一致する。$\Vert N\Vert =100$ という一回ぶんの大きさは、二乗した時点で消えている。

条件数

$A$ が正則なとき、条件数を次で定める。

$$\kappa (A)=\Vert A\Vert \Vert A^{-1}\Vert$$

$\Vert I\Vert =1$ と劣乗法性から $1=\Vert A{A}^{-1}\Vert \le \Vert A\Vert \Vert A^{-1}\Vert$ なので、作用素ノルムでは $\kappa (A)\ge 1$ である。

$2$-ノルムを使うと特異値で書ける。$A^{-1}$ の特異値は $A$ の特異値の逆数なので、次のようになる。

$${\kappa }_2(A)=\frac{{\sigma }_{\max }}{{\sigma }_{\min }}$$

前の例では ${\sigma }_{\max }=3\sqrt{5}$、${\sigma }_{\min }=\sqrt{5}$ なので ${\kappa }_2(A)=3$ である。よく条件のよい行列だと言える。

相対誤差は条件数で決まる

条件数が誤差を支配することを示す。$Ax=b$ の右辺に誤差 $\delta b$ が入り、解が $x+\delta x$ になったとする。

$A(x+\delta x)=b+\delta b$ から $A\delta x=\delta b$、すなわち $\delta x=A^{-1}\delta b$ である。両辺のノルムを取る。

$$\Vert \delta x\Vert \le \Vert A^{-1}\Vert \Vert \delta b\Vert$$

一方 $b=Ax$ から $\Vert b\Vert \le \Vert A\Vert \Vert x\Vert$ である。これを $1/\Vert x\Vert \le \Vert A\Vert /\Vert b\Vert$ と読み替えて掛け合わせる。

$$\frac{\Vert \delta x\Vert }{\Vert x\Vert }\le \Vert A\Vert \Vert A^{-1}\Vert \frac{\Vert \delta b\Vert }{\Vert b\Vert }=\kappa (A)\frac{\Vert \delta b\Vert }{\Vert b\Vert }$$

右辺の入力の相対誤差が、最大で条件数倍に増幅されて解に現れる。条件数が $10^6$ なら、有効数字が 6 桁失われうる。

この評価は最良である。$\delta b$ を最悪の方向に取れば等号が達成される。

悪条件の例

条件数が大きくなる典型がヒルベルト行列である。$(i,j)$ 成分が $1/(i+j-1)$ の行列で、3 次なら次のようになる。

$$H_3=\left(\begin{array}{ccc}1& 1/2& 1/3\\ 1/2& 1/3& 1/4\\ 1/3& 1/4& 1/5\end{array}\right)$$

逆行列は整数成分で書ける。

$$H_3^{-1}=\left(\begin{array}{ccc}9& -36& 30\\ -36& 192& -180\\ 30& -180& 180\end{array}\right)$$

$\infty$-ノルムを計算する。$H_3$ の行和は順に $11/6$、$13/12$、$47/60$ なので $\Vert H_3{\Vert }_{\infty }=11/6$ である。

$H_3^{-1}$ の行和の絶対値は $75$、$408$、$390$ なので $\Vert H_3^{-1}{\Vert }_{\infty }=408$ である。

$${\kappa }_{\infty }(H_3)=\frac{11}{6}\cdot 408=748$$

3 次でこの値である。次数を上げると条件数は指数的に増え、$H_{10}$ では $10^{13}$ を超える。倍精度の有効数字がほぼ失われる。

成分がどれも $1$ 以下の穏やかな行列に見えても、条件数を計算しないと危険が分からない。ノルムを測る意味がここにある。

参考文献