多次元の場合のカルバック・ライブラー距離

ここでは前回「自由エネルギー原理の式の導出」の最後で並べた疑問点のうち

3) $x$ がベクトルの場合でもカルバック・ライブラー距離は式(3-1)で大丈夫なのか？

を解決しようと思います。なお式(3-1)は

$D_{\rm{KL}}(p||q)=\displaystyle{\int}p(x)\log\left(\frac{p(x)}{q(x)}\right)dx$ 　　　　　(3-1)

でした。

このエントリーでは変数がベクトルであることを明示するためにベクトルの変数は $\mathbf{x,y}$ のように書くことにします。一方スカラー値は $x,y$ のように書くことにします。例えば $n$ 次元の縦ベクトル $\mathbf{x}$ の $i$ 番目の成分を $x_i$ と書くとすれば

$\mathbf{x}=(x_1,x_2,\cdots,x_n)^{\rm{T}}$ 　　　　　(6-1)

と書くことが出来ます。ここで $\rm{T}$ は行列の転置を表します。

さて、 $x$ がベクトル $\mathbf{x}$ になった場合のカルバック・ライブラー距離を

$D_{\rm{KL}}(p||q)=\displaystyle{\int}p(\mathbf{x})\log\left(\frac{p(\mathbf{x})}{q(\mathbf{x})}\right)\mathbf{dx}$ 　　　　　(6-2)

で定義します。ここで $\mathbf{x}$ による積分

$\displaystyle\int[　]\mathbf{dx}$

は $x_1,x_2,\cdots,x_n$ による多重積分

$\displaystyle\int[　]\mathbf{dx}=\int\int\cdots\int[　]{dx_1}dx_2\cdots{dx_n}$ 　　　　　(6-3)

を意味します。式(6-3)は式(3-1)の $x$ を $\mathbf{x}$ に置き換えただけの式になっています。

では、式(6-2)で定義されたカルバック・ライブラー距離が非負であり、さらにゼロになるのは $p(\mathbf{x})$ と $q(\mathbf{x})$ が一致する場合に限る、ということを確かめていきましょう。まず、イェンゼンの不等式を拡張します。

「イェンゼンの不等式」の式(4-1), (4-2), (4-2-1)については修正の必要がありません。

$f(t)\le{f'}(\alpha)(t-\alpha)+f(\alpha)$ 　　　　　(4-2-1)

が成り立ち、等号が成り立つのは $t=\alpha$ の時のみでした。式(4-2)に $t=g(\mathbf{x})$ を代入します。ここで $\mathbf{x}$ はベクトルです。

$f(g(\mathbf{x}))\le{f}'(\alpha)(g(\mathbf{x})-\alpha)+f(\alpha)$ 　　　　　(6-4)

ここでベクトル $\mathbf{x}$ についての確率分布 $p(\mathbf{x})$ を考えます。この $p(\mathbf{x})$ については

$\displaystyle{\int}p(\mathbf{x})\mathbf{dx}=1$ 　　　　　(6-5)

と、 $p(\mathbf{x})\ge0$ が成り立ちます。 $p(\mathbf{x})$ を式(6-4)の両辺に掛けます。 $p(\mathbf{x})\ge0$ なので不等号の向きは変わりません。

$f(g(\mathbf{x}))p(\mathbf{x})\le{f}'(\alpha)(g(\mathbf{x})-\alpha)p(\mathbf{x})+f(\alpha)p(\mathbf{x})$

さらに両辺を $\mathbf{x}$ で積分します。

$\displaystyle{\int}f\left(g(\mathbf{x})\right)p(\mathbf{x})\mathbf{dx}\le{f}'(\alpha)\int\left(g(\mathbf{x})-\alpha\right)p(\mathbf{x})\mathbf{dx}+f(\alpha){\int}p(\mathbf{x})\mathbf{dx}$

$\displaystyle{\int}f\left(g(\mathbf{x})\right)p(\mathbf{x})\mathbf{dx}\le{f}'(\alpha){\int}g(\mathbf{x})p(\mathbf{x})\mathbf{dx}-f'(\alpha)\alpha{\int}p(\mathbf{x})\mathbf{dx}+f(\alpha){\int}p(\mathbf{x})\mathbf{dx}$

$\displaystyle{\int}f\left(g(\mathbf{x})\right)p(\mathbf{x})\mathbf{dx}\le{f}'(\alpha){\int}g(\mathbf{x})p(\mathbf{x})\mathbf{dx}-f'(\alpha)\alpha+f(\alpha)$ 　　　　　(6-6)

ここで

$\alpha=\displaystyle{\int}g(\mathbf{x})p(\mathbf{x})\mathbf{dx}$ 　　　　　(6-7)

と置くと、式(6-6)は

$\displaystyle{\int}f\left(g(\mathbf{x})\right)p(\mathbf{x})\mathbf{dx}\le{f}'(\alpha)\alpha-f'(\alpha)\alpha+f\left({\int}g(\mathbf{x})p(\mathbf{x})\mathbf{dx}\right)=f\left({\int}g(\mathbf{x})p(\mathbf{x})\mathbf{dx}\right)$