ベールのカテゴリー定理

ベールのカテゴリー定理は完備距離空間の「大きさ」に関する定理で、関数解析の基本定理（一様有界性原理、開写像定理、閉グラフ定理）の証明で本質的に使われる。

まず用語を整理する。距離空間 $X$ の部分集合 $A$ が疎（nowhere dense）であるとは、$A$ の閉包が内点をもたないこと、すなわち $\mathrm{int}(\overline{A})=\varnothing$ であることをいう。直感的には「どこにも広がりをもたない薄い集合」である。第一類集合（meager set, 痩せた集合）とは可算個の疎集合の合併として書ける集合のことで、第二類集合とは第一類集合でない集合をいう。

ベールのカテゴリー定理の主張は次の通りである。

同値な言い換えがいくつかある。「完備距離空間において、可算個の疎集合の合併は内点をもたない」あるいは対偶をとって「完備距離空間において、可算個の稠密開集合の共通部分は稠密である」などである。

証明の概略

稠密開集合の言い換えを用いて証明する。$X$ を完備距離空間、$\{U_n{\}}_{n=1}^{\infty }$ を稠密開集合の列とする。任意の空でない開集合 $V_0$ に対し、${\bigcap }_n{U}_n$ が $V_0$ と交わることを示せばよい。

$U_1$ が稠密なので $V_0\cap U_1\ne \varnothing$ であり、閉球 $\overline{B_1}\subset V_0\cap U_1$（半径 $r_1<1$）がとれる。同様に $U_2$ が稠密なので、$\overline{B_2}\subset B_1\cap U_2$（半径 $r_2<1/2$）がとれる。帰納的に $\overline{B_n}\subset B_{n-1}\cap U_n$（半径 $r_n<1/n$）を構成する。

閉球の列 $\overline{B_1}\supset \overline{B_2}\supset \cdots$ は半径が $0$ に収束する縮小閉集合列であり、完備性によりカントールの縮小写像定理から

$$\bigcap _{n=1}^{\infty }\overline{B_n}\ne \varnothing$$

となる。この共通部分の点は $V_0\cap {\bigcap }_n{U}_n$ に属するので、${\bigcap }_n{U}_n$ は $V_0$ と交わる。$V_0$ は任意だったので ${\bigcap }_n{U}_n$ は稠密である。

具体例

典型的な応用として、$\mathbb{R}$ が $\mathbb{Q}$ と $\mathbb{R}\setminus \mathbb{Q}$ の直和であることを考える。$\mathbb{Q}$ は可算集合なので、各点 $\{q\}$ は疎であり、

$$\mathbb{Q}=\bigcup _{q\in \mathbb{Q}}\{q\}$$

は第一類集合である。ベールの定理により $\mathbb{R}$（完備）は第二類なので、$\mathbb{R}\setminus \mathbb{Q}$（無理数全体）は第一類集合ではありえない。これは無理数が位相的な意味で「十分大きい」ことを示している。

関数解析への応用

関数解析の三大定理はいずれもベールのカテゴリー定理を用いて証明される。

一様有界性原理の証明では、バナッハ空間 $X$ を

$$X=\bigcup _{n=1}^{\infty }\{x\in X:\Vert T_{\alpha }x\Vert \le n\text{ for all }\alpha \}$$

と書く。仮定より各点で ${\sup }_{\alpha }\Vert T_{\alpha }x\Vert <\infty$ なので、この合併は $X$ 全体を覆う。ベールの定理から $X$ は第二類なので、ある $n$ に対して集合 $\{x:\Vert T_{\alpha }x\Vert \le n\text{ for all }\alpha \}$ が内点をもつ。ここから作用素ノルムの一様有界性が導かれる。

開写像定理も同様で、全射 $T:X\to Y$ に対し

$$Y=\bigcup _{n=1}^{\infty }\overline{T(B_n)}$$

（$B_n$ は $X$ の半径 $n$ の球）と書き、ある $\overline{T(B_n)}$ が内点をもつことを示す。閉グラフ定理は開写像定理から導かれる。

このように、ベールのカテゴリー定理は「完備空間は小さな集合の可算和では覆えない」という形で、完備性の帰結を引き出すための基本的な道具である。