q(x)について

p(x,s)は前回述べたようにxsの同時確率で

p(x,s)=p(s|x)p(x)     (1-2)

で計算されます。p(s|x)xを固定した時の感覚sの確率分布であり、いわば原因となる状態と発生する感覚の間の(確率的な)因果関係を表しています。p(s|x)観測モデルと呼びます。


一方、脳はこの逆の関係p(x|s)を持っていないとしています。つまり、ある感覚sを受信した時のxの確率分布を脳は持たないとしています(本当にそうなのか、私には分かりません)。では、脳がある感覚sを受信した時にどうやってxの分布を得るのでしょうか? それは確率におけるベイズの定理を使う、としています。これをベイズ脳仮説と言います。ベイズの定理は以下のように書けます。

p(x|s)=\displaystyle\frac{p(s|x)p(x)}{p(s)}     (2-1)

しかしここでフリストンは、脳は式(2-1)を正確には遂行できない、としているようです。私はフリストンの原論文を読んでいないのではっきりしたことを言えません。日本語で書かれた本や解説記事を見ても、今ひとつはっきりしません。なんとなく分かることは、多くの場合、p(s)を計算するのが大変だ、ということのようです。p(s)

p(s)=\displaystyle{\int}p(x,s)dx     (2-2)

で計算されるわけですが、xを広い範囲に変化させて積分を遂行するのが困難だと、述べているようです。なぜ困難なのでしょうか? xは脳が認識している外界の状況でした。正直なところxがどのように脳の認識を表現するのか私には見当がつきませんが、xは非常に高次元のベクトルになる、ということは想像がつきます。この高次元の領域に渡る積分、というところが困難を引き起こしているのかもしれない、と私は想像しています。


次に進みます。


そこで脳は何らかの方法でp(x|s)を近似している、と想定します。そしてこの近似したxの分布をq(x)で表しています。


では、どのようにして脳は近似分布q(x)を作るのでしょうか? ところがフリストンの自由エネルギー原理はそこに重点をおいていません。自由エネルギー原理では近似するということのみを式に表しています(私にはそう見えます)。つまり、分布q(x)は分布p(x|s)に近づく、ということを数式で表現しています。さて、2つの確率分布がどれほど類似しているかを測る方法として、カルバック・ライブラー距離というものがあります。フリストンの自由エネルギー原理では、分布q(x)と分布p(x|s)のカルバック・ライブラー距離が減少する、という要請を作り、そこから自由エネルギー原理を導き出しています。


次は、カルバック・ライブラー距離について、学んだことを書いていきます。