ガウス＝マルコフの定理

テンプレート:回帰分析 ガウス=マルコフの定理（ガウス＝マルコフのていり）とは、あるパラメタを観測値の線形結合で推定するとき、残差を最小にするような最小二乗法で求めた推定値が、不偏で最小の分散を持つことを保証する定理である。カール・フリードリヒ・ガウスとアンドレイ・マルコフによって示された。

パラメタ推定

いま、n 組の観測値 [math] (x_1, y_1), (x_2, y_2), \ldots (x_n, y_n) [/math] を説明するモデルとして、

[math] y_i = \beta x_i + \epsilon_i [/math]

という形を期待する。推定したいパラメタは β で、未知である。誤差 ε_i も未知であるが、以下のような統計的性質は分かっているとする。

1. E(ε) = 0 （不偏）
2. E(ε ε^T) = σ ²I (系列無相関で、分散均一)
3. E(xε^T) = 0 （説明変数と無相関）

ここに [math] \epsilon = (\epsilon_1, \epsilon_2, \ldots \epsilon_n)^\mathrm{T}[/math], [math]x = (x_1, x_2, \ldots x_n)^\mathrm{T}[/math] で、E() は平均を取る操作、 I は単位行列、上付き添字 T は転置行列を表す。上述のように誤差は未知であるが、パラメタ β の推定値 [math]\hat{\beta}[/math] が決まれば、残差の平方和 [math] \Sigma_i (\hat{\beta}x_i - y_i)^2 [/math] が計算できる。これを最小にするように [math]\hat{\beta}[/math] を定めるのが最小二乗法である。このようにして求められた推定値は、不偏（[math] E(\hat{\beta}) = \beta [/math]）で他のいかなる β の線形推定値よりも小さな分散 [math] E((\hat{\beta}-\beta)^2) [/math] を持つ。誤差が正規分布している必要はなく、観測が独立でなくても誤差が無相関であればよい。

証明

上と同じ記号を用いると、最小二乗推定量は

[math] \hat{\beta} = (x^T x)^{-1} x^T y [/math]

である。これは、

[math] \hat{\beta} = (x^T x)^{-1} x^T y = (x^T x)^{-1} x^T (x \beta + \epsilon) = \beta + (x^T x)^{-1} x^T \epsilon [/math]

という変形が可能なことに注意する。 両辺の平均を取ると、 誤差の不偏性の仮定より最右辺第二項が消えて、[math]\hat{\beta}[/math] の不偏性が示される。また右辺の β を左辺に移項して、平均を取ることで、

[math] E((\hat{\beta}-\beta)^2) = \sigma^2 (x^T x)^{-1} [/math]

である。ここで別な β の推定値 [math]b = ((x^T x)^{-1} x^T + D)y[/math] を考える。D は x とは無相関 E(DX) = 0 であることに注意すると、

[math] E((b - \beta)^2) = \sigma^2 (x^T x)^{-1} + \sigma^2 D^T D[/math]

となる。第二項は負でないから [math]\hat{\beta}[/math] が最小分散を持つことが示された。

最適内挿法

地球科学において、不規則な観測点 r_i で得られたある物理量 x_i の観測値 y_i をグリッド上に内挿する技法も、ガウス=マルコフの定理と呼ばれることがある。グリッド上の物理量の値を z_j で、表すと、その推定値として

[math] \hat{z}_j = \Sigma_i B_{ji} y_i [/math]

という観測値の線型結合を用いることにする。このような行列 B の中で最良のものは、誤差の共分散 [math] E((z - \hat{z})(z - \hat{z})^T) [/math] の対角成分を最小とするものである。式変形を続けると、

[math] E((z-\hat{z})(z-\hat{z})^T) = BE(yy^T)B^T-E(zy^T)B^T-BE(yz^T)+E(zz^T)[/math]
[math]= (B-E(zy^T)E(yy^T)^{-1})E(yy^T)(B-E(zy^T)E(yy^T)^{-1})^T-E(zy^T)E(yy^T)^{-1}E(zy^T)^T+E(zz^T) [/math]

となり、B=E(zy^T)E(yy^T)^-1 と取ると、共分散行列の対角成分が最小になることが示される。

観測値 y は物理量 x と、誤差 n を含んだ関係 y = Fx + n と仮定することが多い。さらに観測値と誤差は無相関であることを利用すると、 E(yy^T) = FE(xx^T)F^T+ E(nn^T) や、 E(zy^T) = E(xx^T)F^T となることが示され、これが残差最小になるように求めた x の最小二乗解と一致する。この場合、E(xx^T) と E(nn^T) は既知である必要がある。