逆行列を持たない行列の逆｜ムーア・ペンローズ疑似逆行列の作り方と使い方

逆行列を持たない行列にも、逆行列のかわりを務める行列があります。ムーア・ペンローズの疑似逆行列です。

正方でなくても、階数が落ちていても定まります。しかも「解けない連立方程式にいちばん近い答」と「解が無数にあるときの代表」を、同じ 1 つの行列が与えます。

書き方は $A^{+}$ です。 $A$ が正則なら $A^{+} = A^{- 1}$ になるので、逆行列の拡張になっています。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 220" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<text x="115" y="22" font-size="11" fill="#9a9a9a" text-anchor="middle">解けないとき</text>
	<text x="345" y="22" font-size="11" fill="#9a9a9a" text-anchor="middle">解が無数にあるとき</text>
	<line x1="30" y1="140" x2="205" y2="140" stroke="#1b81e0" stroke-width="1"></line>
	<text x="40" y="158" font-size="11" fill="#1b81e0">列空間</text>
	<circle cx="140" cy="70" r="3.5" fill="#1f1f1f"></circle>
	<text x="148" y="68" font-size="12" fill="#1f1f1f">b</text>
	<line x1="140" y1="70" x2="140" y2="140" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="3 3"></line>
	<circle cx="140" cy="140" r="3.5" fill="#1b81e0"></circle>
	<text x="148" y="136" font-size="11" fill="#1b81e0">射影</text>
	<text x="115" y="185" font-size="11" fill="#9a9a9a" text-anchor="middle">いちばん近い点へ落とす</text>
	<line x1="255" y1="60" x2="425" y2="160" stroke="#1b81e0" stroke-width="1"></line>
	<text x="392" y="80" font-size="11" fill="#1b81e0">解の集合</text>
	<circle cx="290" cy="150" r="3.5" fill="#1f1f1f"></circle>
	<text x="266" y="164" font-size="12" fill="#1f1f1f">原点</text>
	<line x1="290" y1="150" x2="322" y2="99" stroke="#9a9a9a" stroke-width="1" stroke-dasharray="3 3"></line>
	<circle cx="322" cy="99" r="3.5" fill="#1b81e0"></circle>
	<text x="330" y="96" font-size="11" fill="#1b81e0">ノルム最小の解</text>
	<text x="345" y="185" font-size="11" fill="#9a9a9a" text-anchor="middle">原点にいちばん近い解を選ぶ</text>
	<text x="230" y="210" font-size="11" fill="#9a9a9a" text-anchor="middle">この 2 つを同時に果たすのが疑似逆行列です</text>
</svg>

ムーア・ペンローズの 4 条件

$m \times n$ 行列 $A$ に対して、 $n \times m$ 行列 $X$ が次の 4 つを満たすとき、 $X$ を $A$ の疑似逆行列といいます。

$A X A = A, X A X = X$

$(A X)^{⊤} = A X, (X A)^{⊤} = X A$

前の 2 つは「逆行列らしさ」を、後ろの 2 つは「対称性」を要求しています。複素行列なら転置を共役転置に置き換えます。

最初の条件だけを満たす行列は一般化逆行列と呼ばれ、無数に存在します。4 つすべてを課すと、その中から 1 つに絞られます。

条件を満たす行列は 1 つしかない

$X$ と $Y$ がともに 4 条件を満たすとします。条件を順に使うと、両者が一致することを示せます。

$X = X A X$ から出発し、 $A X$ と $A Y$ の対称性を使って書き換えていくと $X = Y A X$ に、さらに同じ手順を繰り返すと $X = Y$ に行き着きます。

だから $A^{+}$ という記号で呼べます。存在のほうは、次に見る特異値分解による構成が示します。

正則なら逆行列に戻る

$A$ が正則なら、 $X = A^{- 1}$ が 4 条件をすべて満たします。 $A X A = A$ も $X A X = X$ も明らかで、 $A X$ と $X A$ はどちらも単位行列なので対称です。

一意性と合わせれば $A^{+} = A^{- 1}$ です。疑似逆行列は逆行列と別物ではなく、逆行列が定義できないところまで広げたものになります。

特異値分解による構成

$A$ の特異値分解を $A = U Σ V^{⊤}$ とします。 $U$ と $V$ は直交行列で、 $Σ$ の対角には特異値が大きい順に並びます。

疑似逆行列は次の形で書けます。

$A^{+} = V Σ^{+} U^{⊤}$

$Σ^{+}$ は $Σ$ を転置してから、 $0$ でない対角成分を逆数に置き換えたものです。 $0$ はそのまま $0$ にします。

HTML

CSS

JavaScript

<svg viewBox="0 0 460 190" width="100%" style="max-width:460px;display:block;margin:0 auto">
	<rect x="60" y="45" width="130" height="100" fill="none" stroke="#c8c8c8" stroke-width="1"></rect>
	<text x="125" y="35" font-size="11" fill="#9a9a9a" text-anchor="middle">Σ</text>
	<text x="90" y="75" font-size="13" fill="#1b81e0" text-anchor="middle">3</text>
	<text x="125" y="105" font-size="13" fill="#1b81e0" text-anchor="middle">2</text>
	<text x="160" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="125" y="75" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="160" y="75" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="90" y="105" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="160" y="105" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="90" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="125" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<line x1="205" y1="95" x2="255" y2="95" stroke="#9a9a9a" stroke-width="1"></line>
	<polygon points="258,95 249,91 249,99" fill="#9a9a9a"></polygon>
	<text x="231" y="86" font-size="11" fill="#9a9a9a" text-anchor="middle">逆数</text>
	<rect x="270" y="45" width="130" height="100" fill="none" stroke="#c8c8c8" stroke-width="1"></rect>
	<text x="335" y="35" font-size="11" fill="#9a9a9a" text-anchor="middle">Σ+</text>
	<text x="300" y="75" font-size="13" fill="#1b81e0" text-anchor="middle">1/3</text>
	<text x="335" y="105" font-size="13" fill="#1b81e0" text-anchor="middle">1/2</text>
	<text x="370" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="335" y="75" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="370" y="75" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="300" y="105" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="370" y="105" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="300" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="335" y="135" font-size="13" fill="#9a9a9a" text-anchor="middle">0</text>
	<text x="230" y="175" font-size="11" fill="#9a9a9a" text-anchor="middle">0 は逆数にせず、0 のまま残します</text>
</svg>

例：階数 1 の行列で作る

すべての成分が $1$ の行列で試します。

$A = (1111)$

$u = v = \frac{1}{2} (1, 1)$ と置くと $A = 2 u v^{⊤}$ と書けます。特異値は $2$ と $0$ です。

$0$ でない特異値だけ逆数にするので、 $A^{+} = \frac{1}{2} v u^{⊤}$ になります。

$A^{+} = \frac{1}{4} (1111)$

確かめます。 $A A^{+}$ は成分がすべて $\frac{1}{2}$ の行列です。

$A A^{+} = \frac{1}{2} (1111)$

対称であり、これに $A$ を掛けると $A$ に戻ります。 $A^{+} A A^{+} = A^{+}$ も成り立ちます。

$A$ は正則でないので逆行列を持ちませんが、疑似逆行列はこのとおり定まります。

列が一次独立なら左逆になる

$A$ の列が一次独立なら $A^{⊤} A$ が正則で、疑似逆行列を明示的に書けます。

$A^{+} = (A^{⊤} A)^{- 1} A^{⊤}$

このとき $A^{+} A = I$ が成り立ち、左から掛けると単位行列になります。特異値分解を経由せずに求められる、実用上よく使う形です。

ただし $A A^{+}$ のほうは単位行列になりません。縦長の行列に右逆は存在しないからです。

例：縦長の行列で左逆を作る

3 行 2 列の行列で計算します。

$A = 101011$

$A^{⊤} A$ を作ると 2 次の行列になります。

$A^{⊤} A = (2112)$

行列式は $3$ なので、逆行列がすぐ求まります。

$(A^{⊤} A)^{- 1} = \frac{1}{3} (2 - 1 - 1 2)$

これに $A^{⊤}$ を掛けます。

$A^{+} = \frac{1}{3} (2 - 1 - 1 2 11)$

$A^{+} A$ を計算すると対角成分だけが $3$ で、 $\frac{1}{3}$ を掛けて単位行列になります。

行が一次独立なら右逆になる

横長の行列では立場が入れ替わります。行が一次独立なら $A A^{⊤}$ が正則で、次の形になります。

$A^{+} = A^{⊤} (A A^{⊤})^{- 1}$

こちらは $A A^{+} = I$ を満たす右逆です。連立方程式でいえば、方程式より未知数が多く、解が無数にある場合にあたります。

積は 2 通りの直交射影になる

$A A^{+}$ と $A^{+} A$ は、どちらも対称でべき等です。つまり直交射影を表します。

$A A^{+}$ は $A$ の列空間への射影、 $A^{+} A$ は行空間への射影です。 $I - A^{+} A$ は核への射影になります。

逆行列なら両方とも単位行列になるところが、階数が落ちると射影に化ける、と読めます。ここに疑似逆行列の幾何的な意味が集まっています。

例：射影行列になることを確かめる

さきほどの縦長の行列で $A A^{+}$ を計算します。

$A A^{+} = \frac{1}{3} 2 - 1 1 - 1 21 112$

対称であることは見ればわかります。2 乗しても同じ行列になり、べき等性も確かめられます。

トレースは $\frac{2 + 2 + 2}{3} = 2$ です。射影行列のトレースは像の次元に等しいので、 $A$ の列空間が 2 次元であることと合っています。

$3$ 次の単位行列にはなりません。 $A$ の列が張るのは 3 次元空間の中の平面だけだからです。

最小二乗解を与える

$A x = b$ に解がないとき、 $∥ A x - b ∥$ を最小にする $x$ を探します。この最小値を与えるのが $x = A^{+} b$ です。

理由は射影で説明できます。 $A x$ が動ける範囲は $A$ の列空間で、そこで $b$ にいちばん近い点は射影 $A A^{+} b$ です。

その点を実現する $x$ のひとつが $A^{+} b$ になります。正規方程式 $A^{⊤} A x = A^{⊤} b$ を解くのと同じ答です。

例：直線をあてはめる

3 点 $(1, 1)$ 、 $(2, 2)$ 、 $(3, 2)$ に直線 $y = c + d x$ をあてはめます。係数行列と右辺は次のとおりです。

$A = 111123, b = 122$

3 点は一直線に乗らないので、この連立方程式に解はありません。そこで $A^{+} b$ を計算します。

列が一次独立なので左逆の公式が使えます。必要な量を並べます。

$A^{⊤} A = (36614), A^{⊤} b = (511)$

$A^{⊤} A$ の行列式は $6$ です。逆行列を掛けて係数が求まります。

$(c d) = \frac{1}{6} (14 - 6 - 6 3) (511) = (\frac{2}{3} \frac{1}{2})$

あてはめた直線は $y = \frac{2}{3} + \frac{x}{2}$ です。3 点での予測値は $\frac{7}{6}$ 、 $\frac{5}{3}$ 、 $\frac{13}{6}$ になります。

残差は $\frac{1}{6}$ 、 $- \frac{1}{3}$ 、 $\frac{1}{6}$ で、2 乗和は $\frac{1}{6}$ です。ほかのどんな直線を引いても、この値より小さくはなりません。

解が複数あるならノルム最小のものを選ぶ

解が無数にあるとき、 $A^{+} b$ はその中でノルムが最小のものを返します。

一般の解は $x = A^{+} b + (I - A^{+} A) y$ と書けます。第 2 項は核の中を動く部分で、 $A^{+} b$ とは直交します。

直交しているので、ノルムの 2 乗は 2 つの部分の和になります。第 2 項を $0$ にしたときが最小で、それが $A^{+} b$ です。

例：横長の行列で最小ノルム解を出す

方程式 $x_{1} + x_{2} + x_{3} = 3$ を考えます。行列で書けば $A = (1, 1, 1)$ 、 $b = 3$ です。

$A A^{⊤} = 3$ なので、右逆の公式から $A^{+} = \frac{1}{3} (1, 1, 1)^{⊤}$ になります。

したがって $A^{+} b = (1, 1, 1)$ です。ノルムは $3$ で、およそ $1.73$ になります。

$(3, 0, 0)$ も $(0, 3, 0)$ も同じ方程式を満たしますが、ノルムはどちらも $3$ です。 $(1, 1, 1)$ が最小であることが見て取れます。

積を入れ替える公式は成り立たない

逆行列には $(A B)^{- 1} = B^{- 1} A^{- 1}$ という公式があります。疑似逆行列では、これが一般には成り立ちません。

$A$ の列が正規直交である、 $B$ の行が正規直交である、といった条件がつけば成り立ちます。無条件に使ってよい式ではありません。

例：食い違う組を作る

$A = (1, 1)$ と、次の $B$ で試します。

$B = (1000)$

積は $A B = (1, 0)$ です。行が一次独立なので右逆の公式が使え、 $(A B)^{+} = (1, 0)^{⊤}$ になります。

一方 $A^{+} = \frac{1}{2} (1, 1)^{⊤}$ で、 $B$ は対称なべき等行列なので $B^{+} = B$ です。

$B^{+} A^{+} = \frac{1}{2} (10)$

$(A B)^{+}$ とは $2$ 倍だけ違います。順序を入れ替える公式が破れる、いちばん小さい例です。

数値計算では小さい特異値を切る

特異値が $0$ に近いと、その逆数が非常に大きくなります。もとのデータのわずかな誤差が、答では大きく増幅されます。

そこで実際の計算では、しきい値を決めて、それより小さい特異値を $0$ とみなします。切断特異値分解と呼ばれる扱いです。

どこで切るかは問題しだいです。厳密には階数が落ちていなくても、数値的には落ちていると見なしたほうがよい場面が多くあります。

他の話題とのつながり

特異値分解そのものの構成は特異値分解の記事にあります。疑似逆行列は、その分解を使ういちばん素直な応用のひとつです。

最小二乗法を射影の立場から述べたものが直交補空間と直交分解定理の記事です。数値的には正規方程式より QR 分解のほうが有利で、そちらは QR 分解の記事で扱っています。

$A A^{+}$ や $A^{+} A$ の性質は射影行列とべき等行列の記事とつながります。統計では、回帰係数の推定式が疑似逆行列そのものです。

よくある誤り

A^{+} A

が単位行列になるのは、列が一次独立なときだけです。一般には射影行列にとどまります

(A B)^{+} = B^{+} A^{+}

は逆行列の公式をまねただけの式で、一般には誤りです

条件

A X A = A

だけを満たす行列は一般化逆行列と呼ばれ、無数にあります。一意なのは 4 条件をすべて課したときです

正則な行列にも疑似逆行列はあります。逆行列と一致するので、別の行列を考える必要はありません

最小二乗解が一通りとは限りません。複数あるとき

A^{+} b

が返すのは、その中でノルムが最小のものです

特異値が

0

のところまで逆数にしてはいけません。

0

のまま残すのが定義です

数値計算では、小さすぎる特異値をそのまま逆数にすると誤差が暴れます。しきい値で切る扱いが要ります

疑似逆行列は連続に変化しません。階数が変わる境目で値が飛ぶので、近い行列どうしでも

A^{+}

は近いとは限りません

参考文献

Moore–Penrose inverse - Wikipedia

Pseudoinverse - Wikipedia（ドイツ語）

Pseudo-inverse - Wikipédia（フランス語）

伪逆矩阵 - 维基百科（中国語）

正方でなくても階数が落ちていても定まる、逆行列の拡張が疑似逆行列です。特異値の逆数を取って作る仕組み、積が列空間と行空間への直交射影になること、直線あてはめの計算、逆行列の公式をまねた式が成り立たない反例、小さい特異値を切る数値計算上の扱いを、計算例をつけて示します。