ベールのカテゴリー定理は完備距離空間の「大きさ」に関する定理で、関数解析の基本定理(一様有界性原理、開写像定理、閉グラフ定理)の証明で本質的に使われる。
まず用語を整理する。距離空間 の部分集合 が疎(nowhere dense)であるとは、 の閉包が内点をもたないこと、すなわち であることをいう。直感的には「どこにも広がりをもたない薄い集合」である。第一類集合(meager set, 痩せた集合)とは可算個の疎集合の合併として書ける集合のことで、第二類集合とは第一類集合でない集合をいう。
閉包が内点をもたない集合。例えば における や有限集合は疎である。
可算個の疎集合の合併。「痩せた」集合とも呼ばれる。 における は第一類集合である。
第一類集合でない集合。完備距離空間はそれ自身が第二類集合である。
ベールのカテゴリー定理の主張は次の通りである。
完備距離空間は第二類集合である。すなわち、完備距離空間は可算個の疎集合の合併として書けない。
同値な言い換えがいくつかある。「完備距離空間において、可算個の疎集合の合併は内点をもたない」あるいは対偶をとって「完備距離空間において、可算個の稠密開集合の共通部分は稠密である」などである。
証明の概略
稠密開集合の言い換えを用いて証明する。 を完備距離空間、 を稠密開集合の列とする。任意の空でない開集合 に対し、 が と交わることを示せばよい。
が稠密なので であり、閉球 (半径 )がとれる。同様に が稠密なので、(半径 )がとれる。帰納的に (半径 )を構成する。
閉球の列 は半径が に収束する縮小閉集合列であり、完備性によりカントールの縮小写像定理から
となる。この共通部分の点は に属するので、 は と交わる。 は任意だったので は稠密である。
具体例
典型的な応用として、 が と の直和であることを考える。 は可算集合なので、各点 は疎であり、
は第一類集合である。ベールの定理により (完備)は第二類なので、(無理数全体)は第一類集合ではありえない。これは無理数が位相的な意味で「十分大きい」ことを示している。
関数解析への応用
関数解析の三大定理はいずれもベールのカテゴリー定理を用いて証明される。
一様有界性原理の証明では、バナッハ空間 を
と書く。仮定より各点で なので、この合併は 全体を覆う。ベールの定理から は第二類なので、ある に対して集合 が内点をもつ。ここから作用素ノルムの一様有界性が導かれる。
開写像定理も同様で、全射 に対し
( は の半径 の球)と書き、ある が内点をもつことを示す。閉グラフ定理は開写像定理から導かれる。
このように、ベールのカテゴリー定理は「完備空間は小さな集合の可算和では覆えない」という形で、完備性の帰結を引き出すための基本的な道具である。