ギブスの不等式
提供: miniwiki
ギブスの不等式（ぎぶすのふとうしき、英: Gibbs' inequality）とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。
定義
ある確率分布 P を次のように表す。
- [math] P = \{ p_1 , \ldots , p_n \} [/math]
別の確率分布 Q を次のように表す。
- [math] Q = \{ q_1 , \ldots , q_n \} [/math]
このとき、次の不等式が成り立つ。
- [math] - \sum_{i=1}^n p_i \log_2 p_i \leq - \sum_{i=1}^n p_i \log_2 q_i [/math]
ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。
- [math] p_i = q_i \,[/math]
2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。
- [math] D_{\mathrm{KL}}(P\|Q) \geq 0[/math]
証明
対数の性質から、次が成り立つ。
- [math] \log_2 a = \frac{ \ln a }{ \ln 2 }[/math]
従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。
- [math] \ln x \leq x-1 [/math]
これは、全ての x について成り立つ（x=1 のときだけ等号）。
pi がゼロでない全ての [math]i[/math] の集合を [math]I[/math] とする。すると、
- [math] \begin{align} - \sum_{i \in I} p_i \ln \frac{q_i}{p_i} & {} \geq - \sum_{i \in I} p_i \left( \frac{q_i}{p_i} - 1 \right) \\ & {} = - \sum_{i \in I} q_i + \sum_{i \in I} p_i \\ & {} = - \sum_{i \in I} q_i + 1 \\ & {} \geq 0 \end{align} [/math]
となるので、次が成り立つ。
- [math] - \sum_{i \in I} p_i \ln q_i \geq - \sum_{i \in I} p_i \ln p_i [/math]
両辺に 0 を加えても大小関係は変わらないから、0 であるような pi も含めることができて、
- [math] - \sum_{i=1}^n p_i \ln q_i \geq - \sum_{i=1}^n p_i \ln p_i [/math]
等式として成り立つには、次の条件が成立しなければならない。
- 全ての [math]i \in I [/math] について [math] \frac{q_i}{p_i} = 1[/math] であれば、[math]\ln \frac{q_i}{p_i} = 1 - \frac{q_i}{p_i} [/math] が成り立つ。
- [math] \sum_{i \in I} q_i = 1[/math] であれば、証明の3行目から4行目の部分で等号が成り立つ。
これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。
- [math]p_i = q_i [/math]
他の証明手法
イェンセンの不等式を使って証明することもできる。
系
[math]P[/math] のエントロピーは次の式で上限が与えられる。
- [math]H(p_1, \ldots , p_n) \leq \log n [/math]
証明は簡単で、全ての i について [math]q_i = 1/n [/math] とすればよい。