イェンセンの不等式

イェンセンの不等式（いぇんせんのふとうしき、英語: Jensen's inequality）は、凸関数を使った不等式である。

f(x) を実数上の凸関数とする。

離散の場合：

[math]p_1, \, p_2, \, \ldots[/math] を、[math]p_1 + p_2 + \cdots = 1[/math] を満たす正の実数の列とする。また、[math]x_1, \, x_2, \, \ldots[/math] を、実数の列とする。そのとき、次が成り立つ。

[math]\sum_{i=1}^{\infty} p_i f(x_i) \ge f\left( \sum_{i=1}^{\infty} p_i x_i \right)[/math]

連続値の場合：

[math]p(x)(\gt 0)[/math] を、[math]\int p(x) dx = 1[/math] を満たす実数上の可積分関数とする。また、[math]y(x)[/math] を実数上の可積分関数とする。そのとき、次が成り立つ。

[math]\int_{-\infty}^{\infty} f(y(x))p(x) dx \ge f \left( \int_{-\infty}^{\infty} y(x)p(x) dx \right)[/math]

ルベーグ積分論の観点では、離散の場合も連続の場合も同一に見倣せる。

証明は、f の[math]\int_{-\infty}^{\infty} y(x)p(x) dx[/math]における接線を g とおいて、常に g(x) が f(x) よりも小さいことを使えばよい。

統計学において、式の下限を評価するさいに、一定の役割を担っている。例えば、カルバックライブラーダイバージェンスが常に 0 より大きいことを証明するときに用いられる。p(x) が確率密度関数の場合を考えると、イェンセンの不等式は次のように書ける。

[math]E[f(y)] \ge f(E[y])[/math]

なお、イェンセンの不等式から、相加相乗平均の不等式などを導くこともできる。

参考文献

David Chandler (1987). Introduction to Modern Statistical Mechanics. Oxford. ISBN 0-19-504277-8.
Tristan Needham (1993) "A Visual Explanation of Jensen's Inequality", American Mathematical Monthly 100(8):768–71.
Walter Rudin (1987). Real and Complex Analysis. McGraw-Hill. ISBN 0-07-054234-1.