自由エネルギー原理の勉強

イェンゼンの不等式

前回使ったイェンゼンの不等式

$f(x)$ が上に凸な関数であり、 $-\infty$ から $\infty$ までの範囲で積分可能な任意の関数 $g(x)$ と
$\displaystyle{\int}p(x)dx=1$ 　　　　　(3-5)
かつ $p(x)\ge0$ を満たす任意の関数p(x)があるとき
$\displaystyle{\int}f\left(g(x)\right)p(x)dx\le{f}\left(\int{g}(x)p(x)dx\right)$ 　　　　　(3-6)
が成り立つ。また、式(3-6)で等号が成り立つのは、 $g(x)=\rm{const}$ の場合のみである。

の証明を示します。

任意の実数値 $\alpha$ を考え、 $x=\alpha$ での $f(x)$ の接線を考えると、

$y=f'(\alpha)(x-\alpha)+f(\alpha)$ 　　　　　(4-1)

となります。今、 $f(x)$ は上に凸な関数なので、 $x=\alpha$ 以外の $x$ での $f(x)$ の値は接線より下になります。つまり、

$f(x)\le{f'}(\alpha)(x-\alpha)+f(\alpha)$ 　　　　　(4-2)

が成り立ち、等号が成り立つのは $x=\alpha$ の時のみとなります。ここで、このあとの証明の都合上、変数名 $x$ を $t$ に置き換えます。

$f(t)\le{f'}(\alpha)(t-\alpha)+f(\alpha)$ 　　　　　(4-2-1)

等号が成り立つのは $t=\alpha$ の時のみとなります。
次に式(4-2)に $t=g(x)$ を代入します。

$f(g(x))\le{f}'(\alpha)(g(x)-\alpha)+f(\alpha)$

さらに両辺に $p(x)$ を掛けます。 $p(x)\ge0$ なので不等号の向きは変わりません。

$f(g(x))p(x)\le{f}'(\alpha)(g(x)-\alpha)p(x)+f(\alpha)p(x)$

さらに両辺を $x$ で積分します。

$\displaystyle{\int}f\left(g(x)\right)p(x)dt\le{f}'(\alpha)\int\left(g(x)-\alpha\right)p(x)dt+f(\alpha){\int}p(x)dx$

$\displaystyle{\int}f\left(g(x)\right)p(x)dx\le{f}'(\alpha){\int}g(x)p(x)dx-f'(\alpha)\alpha{\int}p(x)dx+f(\alpha){\int}p(x)dx$ 　　　　　(4-3)

ここで式(3-5)を使うと

$\displaystyle{\int}f\left(g(x)\right)p(x)dx\le{f}'(\alpha){\int}g(x)p(x)dt-f'(\alpha)\alpha+f(\alpha)$ 　　　　　(4-4)

今まで $\alpha$ は任意の値としてきたので、ここで

$\alpha=\displaystyle{\int}g(x)p(x)dx$ 　　　　　(4-5)

と置くと、式(4-4)は

$\displaystyle{\int}f\left(g(x)\right)p(x)dx\le{f}'(\alpha)\alpha-f'(\alpha)\alpha+f\left({\int}g(x)p(x)dx\right)$

よって

$\displaystyle{\int}f\left(g(x)\right)p(x)dx\le{f}\left(\int{g}(x)p(x)dx\right)$ 　　　　　(3-6)

が成り立つことが分かります。
また、等号が成り立つのは $t=\alpha$ の時のみでしたので、

$g(x)=\displaystyle{\int}g(x)p(x)dx$ 　　　　　(4-6)

となり、この右辺は定数なので、 $g(x)=\rm{const}$ となります。またこの定数を $c$ とすると、式(4-6)の左辺は $c$ となり、右辺は

$\displaystyle{\int}g(x)p(x)dx=c{\int}p(x)dx=c$

となるため、式(4-6)が成り立ちます。よって式(3-6)で等号が成り立つのは $g(x)=\rm{const}$ のときのみとなります。