中心極限定理

ファイル:Somme tirage 1 a 6d6 et loi normale.svg

サイコロを n 個振ったときに出る目の和 S_n = X₁ + … + X_n の分布が n を大きくするに従って正規分布による近似に近づく様子

中心極限定理（ちゅうしんきょくげんていり、英: central limit theorem, CLT）は、確率論・統計学における極限定理の一つ。

大数の法則によると、ある母集団から無作為抽出された標本平均はサンプルのサイズを大きくすると真の平均に近づく。これに対し中心極限定理は標本平均と真の平均との誤差を論ずるものである。多くの場合、母集団の分布がどんな分布であっても、その誤差はサンプルのサイズを大きくしたとき近似的に正規分布に従う。

なお、標本の分布に分散が存在しないときには、極限が正規分布と異なる場合もある。

統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。

定理

以下の定理はLindeberg (1922)による 。

期待値 μ と分散 σ² を持つ独立同分布 ("i.i.d.") に従う確率変数列 X₁, X₂, ... に対し [math]\textstyle S_n := \sum_{k = 1}^n X_k [/math] とおくと、

[math]P \left( \frac{ S_n - n \mu }{ \sqrt{n}\sigma } \leqq \alpha \right) \to \frac{1}{\sqrt{2 \pi }} \int_{-\infty }^{\alpha } e^{- \frac{x^2}{2}} dx \qquad (n \to \infty). [/math]

つまり、独立同分布に従う確率変数列の部分和を標準化すると、期待値 0, 分散 1 の正規分布 N(0, 1) に分布収束する。

従って、n が十分大きいとき近似的に、部分和 S_n = X₁ + … + X_n は平均 nμ, 分散 nσ² の正規分布 N(nµ, nσ²) に収束し、標本平均 [math]\bar{X}_n = (X_1 + \dotsb + X_n)/n[/math] は平均 μ, 分散 σ²/n の正規分布 N(μ, σ²/n) に従う。

証明

中心極限定理は特性関数（とレヴィの連続性定理）を用いることにより証明できる。

{X₁, …, X_n}を独立同分布に従う確率変数とする。分布の平均をµ、分散をσ²とする。 ここで部分和 S_n = X₁ + … + X_nを考えると、平均と分散はそれぞれ、nµ、nσ²となる。ここで確率変数

[math]Z_n = \frac{S_n - n \mu}{\sqrt{n \sigma^2}} = \sum_{j=1}^n \frac{X_j - \mu}{\sqrt{n \sigma^2}} = \sum_{j=1}^n \frac{1}{\sqrt{n}} Y_j,[/math]

を考える。最後の式では、平均0、分散1の新しい確率変数 Y_j = (X_j − μ)/σ を定義した。 ここで、Z_nの特性関数は

[math]\varphi_{Z_n}(t) = \operatorname{E} \left[ e^{i t Z_n} \right] = \operatorname{E} \left[ e^{i t \sum_{j=1}^n \frac{1}{\sqrt{n}} Y_j} \right] = \prod_{j=1}^n \operatorname{E} \left[ e^{i \frac{t}{\sqrt{n}} Y_j} \right] = \prod_{j=1}^n \varphi_{Y_j}\left(\frac{t}{\sqrt{n}}\right) = \left[\varphi_{Y_1}\left(\frac{t}{\sqrt{n}}\right)\right]^n [/math]

最後の等式は全てのY_jが同等であることから導いた。ここで、[math]\varphi_{Y_1}\left( t \right)[/math]のテイラー展開を考える。以下の等式に留意すると

[math]\varphi_{Y_1}(0) = \left. \operatorname{E} \left[e^{i t Y_1}\right]\right|_{t=0} = 1[/math]

[math]\varphi_{Y_1}'(0) = \left. \operatorname{E} \left[i Y_1 e^{i t Y_1}\right]\right|_{t=0} = \operatorname{E} \left[ i Y_1 \right] = i \operatorname{E} \left[ Y_1 \right] = 0[/math]

[math]\varphi_{Y_1}''(0) = \left. \operatorname{E} \left[- Y_1^2 e^{i t Y_1}\right]\right|_{t=0} = \operatorname{E} \left[ - Y_1^2 \right] = -\operatorname{V} \left[ Y_1 \right] = -1 [/math]

t=0の近傍のテイラー展開（マクローリン展開）は

[math]\varphi_{Y_1}\left( \frac{t}{\sqrt{n}} \right) = 1 - \frac{t^2}{2 n} + c \frac{t^3}{6 n^{3/2}} + o \left( t^3 \right), \quad t \rightarrow 0 [/math]

となる。ここで c は定数であり、[math]o(t^3)[/math] はo表記であり、[math]t^3[/math] よりも早く０に収束する関数を表す。 この式と指数関数の定義

[math]e^x = \lim_{n \to \infty } \left( 1+\frac{x}{n} \right)^n [/math]

を用いると、[math]\varphi_{Z_n} \left( t \right)[/math]の[math] n \to \infty[/math]における極限が以下のように求められる。

[math]\varphi_{Z_n} \left( t \right) = \left( 1 - \frac{t^2}{2 n} + c \frac{t^3}{6 n^{3/2}} + o \left( t^3 \right) \right)^n \to e^{-\frac{1}{2} t^2}, \quad n \to \infty [/math]

最後の関数は標準正規分布N(0, 1)の特性関数である。特性関数と確率分布の対応は一対一なので、この結果は [math] n \to \infty [/math]の極限で [math]Z_n[/math] が N(0, 1)に収束することを意味する。なお、厳密に特性関数の収束と確率分布関数の収束の対応関係が成り立つことはレヴィの連続性定理により保証される。

以上により、部分和 S_n = X₁ + … + X_n は正規分布 N(nµ, nσ²) に収束し、標本平均 [math]\bar{X}_n = (X_1+\cdots+X_n)/n[/math]は正規分布 N(µ, σ²/n) に収束することが証明された。

正規分布に収束しないケース

より一般化された確率理論(コルモゴロフの公理)では、中心極限定理は弱収束理論 (weak-convergence theories) の一部となる。それによると、独立で同一の確率分布(i.i.d.)にしたがう確率変数の分散(2次の中心モーメント)が有限な場合は「確率変数の和の確率分布」は変数の数が多くなるにしたがい正規分布に収束する(古典的な中心極限定理が成り立つ)が、確率変数がしたがう分布の裾が |x|^−α−1 ( ただし、0 < α < 2)のべき乗で減衰する場合(分布の裾が厚くなり分散は無限大に発散して)(正規分布には収束せず)特性指数α の安定分布に収束する。

※なお安定分布は特性指数が 0 < α < 2 のとき分散は無限大となり、分布の裾が冪乗則にしたがうファットテールを有する。

参考文献

• (1968) An introduction to probability theory and its applications, Third, John Wiley & Sons, Inc.. ISBN 0-471-25711-7. 

関連項目

• 確率論
• 大数の法則
• ド・モアブル=ラプラスの定理