仮説検定では、判断を誤る可能性が常に存在します。誤りには二つの種類があり、それぞれ第一種の過誤と第二種の過誤と呼ばれます。この二つの過誤のバランスを理解することが、適切な検定設計の基礎となります。
第一種の過誤（偽陽性）
第一種の過誤は、帰無仮説が真であるにもかかわらず、それを棄却してしまう誤りです。「本当は効果がないのに、効果があると判断してしまう」状況に相当します。
第一種の過誤を犯す確率を で表し、これを有意水準といいます。
有意水準は検定を行う前に研究者が設定するもので、通常 0.05 や 0.01 が用いられます。 とは、帰無仮説が正しいとき、100 回検定を行えば約 5 回は誤って棄却してしまうことを意味します。
第二種の過誤（偽陰性）
第二種の過誤は、帰無仮説が偽であるにもかかわらず、それを棄却しない誤りです。「本当は効果があるのに、効果がないと判断してしまう」状況に相当します。
第二種の過誤を犯す確率を で表します。
の値は対立仮説の具体的な値（真の効果の大きさ）に依存します。
二つの過誤の関係
第一種の過誤と第二種の過誤はトレードオフの関係にあります。 を小さくする（棄却しにくくする）と は大きくなり、 を大きくすると は小さくなります。
両方の過誤を同時に小さくするには、標本サイズを大きくすることが有効です。
どちらの過誤を重視するか
どちらの過誤がより深刻かは文脈によります。新薬の承認では、効果のない薬を承認する（第一種の過誤）のは危険なので を小さく設定します。一方、がんの早期発見では、がんを見逃す（第二種の過誤）方が深刻なので を小さくすることが重視されます。
伝統的な仮説検定では の制御が優先され、 は明示的に管理されないことが多いですが、検出力の観点から も考慮することが重要です。
