2024-04-04

変分自由エネルギーに登場する変数について

熱力学や統計力学の自由エネルギーではなくて、今度は、脳科学のフリストンの自由エネルギー原理における変分自由エネルギーの式を検討していきます。変分自由エネルギー $F$ の式は下のようなものです。

$F=\displaystyle\int q(x)\log\left( \frac{q(x)}{p(x,s)} \right) dx$ 　　　　　(1-1)

この式には $q(x)$ とか $p(x,s)$ のように、熱力学では見慣れない記号が出てきます。それ以前に $x$ が何で $s$ が何か、というところを明確にしなければなりません。

まず、 $s$ は脳が受け取る感覚を表しています。感覚といっても漠然としていますから、例えば視覚としてみましょう。その場合は感覚 $s$ は、網膜に映った画像信号と考えればよいと思います。そのような画素がいっぱいあるデータを一文字の $s$ で表してよいものでしょうか？　ここで、 $s$ はベクトルであると考えてみます。例えば、網膜から出ている視神経の１つの伝える光の強度の信号を１つの実数で表し、それらを視神経の数だけ並べたベクトルがこの $s$ だと考えます。そうすれば、網膜に映った画像信号を一文字の $s$ で表すことも妥当であると分かります。

次に $x$ は、視覚の例でいえば脳が認識している外界の形状を表しています。正直なところ私は脳が物の形状をどのような風に数値化（あるいはコード化）しているのか、見当がつきません。まさかその物体の各点が脳内で３次元の座標で表されているとも思えません。それで、私には $x$ の具体的なイメージがわきません。むしろ私には、物の形状は「丸い」「大きさは握りこぶしぐらい」「黒い」「食べれなそう」「固そう」「重そう」というような属性のリストとして表現されるのではないか、と想像します。

外界の物体の形状が脳内でどのように表現されるのか私には分かりませんが、ともかくそれがベクトル $x$ で表現され得るものであると考えます。

一般に感覚のデータ $s$ は、形状のデータ $x$ を形成するのに十分な情報量を持っていません。 $s$ は二次元のデータであるのに対し $x$ は３次元のデータです。しかし、脳は網膜上の２次元のデータから３次元の世界を構成しています。そこでは意識に上らない推論がなされています。脳は視覚情報からそれ以外の点についても脳内の映像を再構成しているらしいのですが、私はそれについて確かな情報を得ていません。

脳は $s$ を変形して $x$ を作っているのではなく、予め脳が予測している $x$ があって、 $s$ を受け取ることによって $x$ を調整している、と考えるのがフリストンの理論の基礎のようです。

次に $q(x)$ は何かを説明する番ですが、その前に $p(x)$ を説明しなければなりません。これらはどちらも確率分布を表しています。まず、 $p(x)$ についてですが、脳は $x$ を１点（＝１データ）として予測しているのではなく、確率分布 $p(x)$ の形で予測している、としています。私にはその根拠が分かりません。

次に、 $p(x, s)$ は $x$ と $s$ の同時確率分布です。そして

$p(x, s)=p(s|x)p(x)$ 　　　　　(1-2)

が成り立ちます。ここで $p(s|x)$ は $x$ を一つ定めた時の $s$ の条件付き確率分布です。これについては、脳は今までの学習によって $x$ という形状があれば、どのような感覚 $s$ を受信できるか、ということを知っている、としています。その知識を脳は、 $x$ であるという条件の下で $s$ を受信する確率の分布 $p(s|x)$ の形で持っているとしています。私は最初のうち、ここが理解出来ませんでした。しかし、その後、これは以下のような意味なのだと理解しました。

$x$ と $s$ の関係を通常の関数の形に書けば

$s=g(x)$ 　　　　　(1-3)

です。しかし、感覚には誤差がつきものと考えて式(1-3)に誤差 $\epsilon$ を加えます。

$s=g(x)+\epsilon$ 　　　　　(1-4)

式(1-4)では $x$ が定まっても $s$ は定まらず、 $s$ はある確率分布を取ることになります。これを $p(s|x)$ と書き表したのでした。 $\epsilon$ の分布を $p_{\epsilon}(\epsilon{)}$ で表すことに
すると、

$p(s|x)=p_{\epsilon}(s-g(x))$ 　　　　　(1-5)

を意味することになります。たとえば $x,s,\epsilon$ が全てスカラーのデータであるとして、 $\epsilon$ が平均ゼロ、標準偏差 $\sigma$ の正規分布だとすると

$p(s|x)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(s-g(x))^2}{2\sigma^2}\right)$ 　　　　　(1-6)

になります。

2024-04-03

ヘルムホルツの自由エネルギー（２）

ヘルムホルツの自由エネルギーがなぜ「自由」エネルギーと呼ばれるのかについて押さえておきます。

前回、系は等温等積という条件をつけていましたが、今回は等積という条件を外します。すると、前回の式(6)

$\Delta{U}=\Delta{Q}+\Delta{W}$ 　　　　　　　　　　　　　　(6)

で $\Delta{W}=0$ にはなりません。そこで、式(6)を変形して、

$\Delta{Q}=\Delta{U}-\Delta{W}$ 　　　　　　　　　　　　　　　　　(11)

とします。これを式(5)

$T\Delta{S}-\Delta{Q}{\ge}0$ 　　　　　　　　　　　　　　　　　　(5)

に代入すると

$T\Delta{S}-\Delta{U}+\Delta{W}{\ge}0$

となり、ここから

$-\Delta{W}{\le}T\Delta{S}-\Delta{U}$ 　　　　　　　　　　　　　　(12)

よって

$-\Delta{W}{\le}-\Delta{F}$ 　　　　　　　　　　　　　　　　　　　(13)

となります。ここで、 $-\Delta{W}$ は系から取り出される仕事を表します。式(13)は、系から取り出しうる仕事の量には上限があり、その上限は自由エネルギー $F$ の減少分である、ということを表します。つまり、内部エネルギーの減少分 $\Delta{U}$ がそのまま仕事 $-\Delta{W}$ になるのではなく、取り出せるのは $F$ の減少分です。よって $F$ は、外に取り出し得るエネルギーという意味で自由エネルギーと呼ばれているようです。

しかし、私には疑問な点があります。内部エネルギーの内訳として、仕事に使えるエネルギー（＝自由エネルギー）と使えないエネルギーがある、という説明ならば自由エネルギーという用語名は私にはしっくりくるのですが、もし、自由エネルギーの減少分のほうが内部エネルギーの減少分よりも大きいことがあるのならば、この用語名はあまりしっくりこない、というものです。というのも式(12)において $T\Delta{S}$ が正の量となる場合（エントロピーが増大する場合）があるのではないか、と思うからです。もし、 $T\Delta{S}$ が正の量であるならば、自由エネルギー $F$ の減少分は内部エネルギー $U$ の減少分より大きいことになってしまいます。これでは内部エネルギーの減少分のうち一部しか仕事に変換出来ない、とは言えないのではないか、と思います。

しかし、この問題は保留にして、フリストンの自由エネルギー原理で提唱されている変分自由エネルギーの検討にすすみたいと思います。

2024-03-31

ヘルムホルツの自由エネルギー

まずは、「自由エネルギー原理」の名前の元になったヘルムホルツの自由エネルギーが何だったか、調べてみました。

実は40年以上前、私は物理学科の学生でしたが、その頃、熱力学がよく分からなかった記憶があります。それで今でも不得意感があるのですが・・・・・以前、ヨビノリ先生のYouTube、【大学物理】熱力学入門⑤(ヘルムホルツの自由エネルギー)：を見た時に理解出来たような気がしたので、今回それを参考にしました。

熱力学の第２法則であるエントロピー増大の法則では、孤立系での自発的な変化はエントロピーが増大する方向に変化する、ということでした。それでは、温度一定、体積一定の条件で、外部と熱のやり取りが出来る（つまり孤立していない）系の場合、変化の方向をどうやって知るか、という問題を考えてみます。

この系とその外部環境を合わせて全体でみれば、それを孤立系と見なすことが出来ます。そこで、この全体のエントロピーが増大する方向に変化は進むのでした。ここで系のエントロピーの変化を $\Delta{S}$ 、外部環境のエントロピーの変化を $\Delta{S_e}$ と表すならば、

$\Delta{S}+\Delta{S_e}\ge{0}$ 　　　　　　　　　　　　　　　　(1)

となるはずです（そして、系と外部環境を合わせた全体が準静的過程の時のみ等号が成り立ちます）。しかし、外部環境のエントロピーの変化を直接計算することは大変です。これを、今注目している系の情報だけで表すことが出来ないか、ということが考えられます。そして、これは次のように遂行されました。

変化によって系が外部環境から熱 $\Delta{Q}$ を受け取ったとします。これは外部環境から見たら熱の変化は $-\Delta{Q}$ となります。外部環境は平衡状態になっていて、かつ巨大であると仮定しているので、熱を受けても外部環境の温度は変化しません。このため外部環境の変化は準静的過程となり、エントロピー $\Delta{S_e}$ の式は等号が成り立って

$\Delta{S_e}=\displaystyle\int\frac{dQ}{T}$ 　　　　　　　　　　　　　　(2)

となります。ここで、 $T$ は温度を表します。系の温度も外部環境の温度も等しく $T$ です。今、温度は変化しないと仮定しているので、

$\Delta{S_e}=\displaystyle\frac{1}{T}\int{dQ}$

となり、

$\Delta{S_e}=-\displaystyle\frac{\Delta{Q}}{T}$ 　　　　　　　　　　　　　(3)

となります。これを(1)に代入すると

$\Delta{S}-\displaystyle\frac{\Delta{Q}}{T}{\ge}0$ 　　　　　　　　　　　　　(4)

となります。ここで $T>0$ なので式(4)の両辺に $T$ を掛けても不等号の向きは変わらず、

$T\Delta{S}-\Delta{Q}{\ge}0$ 　　　　　　　　　　　　　　　　　　(5)

となります。

さて系について熱力学第一法則を考えると、

$\Delta{U}=\Delta{Q}+\Delta{W}$ 　　　　　　　　　　　　　　(6)

ただし、 $U$ は内部エネルギーを、 $W$ は系に与えられた仕事を表します。今は体積一定を仮定しているので $\Delta{W}=0$ となり、

$\Delta{U}=\Delta{Q}$ 　　　　　　　　　　　　　　　　　(7)

となります。これを式(5)に代入して

$T\Delta{S}-\Delta{U}{\ge}0$

よって

$\Delta{U}-T\Delta{S}{\le}0$ 　　　　　　　　　　　　　　　　　　(8)

ここで、

$F=U-TS$ 　　　　　　　　　　　　　　　　　　　　　　　　(9)

と置くと、温度 $T$ が一定であることに注意すれば

$\Delta{F}{\le}0$ 　　　　　　　　　　　　　　　　　　　　　　(10)

となります。この式(9)で定義される $F$ が、ヘルムホルツの自由エネルギーであり、式(10)は、自発的変化はヘルムホルツの自由エネルギーが減少する方向に進む、ということを表しています。

フリストンの定義する自由エネルギーは上のものとは異なりますが、脳は自由エネルギーを減らすように動作する、という彼の主張は、等温等積の条件の系はヘルムホルツの自由エネルギーを減らすように変化する、というヘルムホルツの理論をなぞったものなのでしょう。

2024-03-30

自由エネルギー原理に対する私の今の認識

自由エネルギー原理とはイギリスの脳科学者カール・フリストンが2006年から提唱している、脳科学における原理です。

私が自由エネルギー原理というものの存在を知ったのは、去年の５月で、乾敏郎、阪口豊　著の「自由エネルギー原理入門: 知覚・行動・コミュニケーションの計算理論」に出会った時のことです。

自由エネルギー原理入門: 知覚・行動・コミュニケーションの計算理論

作者:乾敏郎,阪口豊
岩波書店

Amazon

脳の機能に対して、生理学的な記述ではなく数式による記述がなされていたことと、その数式がディープラーニング関係のものとはまた異なった未知の内容だったことに衝撃を受けました。

その後この本を読んでいったのですが、数式の導出方法が分からなかったり、記述に疑問が多々出てきたり、してきました。その悪戦苦闘はまだ続いています。

そこで頭を整理するために、今までわかったことや、疑問に思ったことについてブログに書いてみようと思いました。以下は、現時点における私の「自由エネルギー原理」に対する認識です。

自由エネルギー原理における「自由エネルギー」という言葉は、熱力学における自由エネルギーとは、ほとんど関係がない

自由エネルギー原理の発想の源の一つに、19世紀ドイツの物理学者にして生理学者であったヘルムホルツが提唱した「知覚とは無意識的推論である」という考えがありますが、同じヘルムホルツが熱力学の分野においてヘルムホルツの自由エネルギーという量を提唱しています。このヘルムホルツの自由エネルギー $F$ の式

$F=U-TS$

と似た式がフリストンの理論に登場するので、フリストンがそれを自由エネルギーと名付け、脳は自由エネルギーを減少させるように働く、そしてその原理によって、知覚、学習、運動指令、感情の発生、行動の選択、などを説明出来る、と主張しています。しかし、私にはその式がヘルムホルツの自由エネルギーの式に似ているとはあまり思えません。

彼が自由エネルギー（正確には変分自由エネルギー）と呼んでいる $F$ は、次の式で表されます。

$F=\displaystyle\int q(x)\log \left( \frac{q(x)}{p(x, s)} \right) dx$

この式が上の式に似ていることを主張する理由があるのですが、その理由が私には説得的ではありません。この点は、別途、書いていきたいと思います。

自由エネルギー原理は、単なるフィードバック原理を難しい言葉で語っているように思える

これは「自由エネルギー原理入門: 知覚・行動・コミュニケーションの計算理論」の式展開を追っていかないと、ちゃんとした説明が出来ないのですが、自由エネルギー原理の意味するところは、単なるフィードバックではないか、と私には思えました。自由エネルギー原理では、知覚は、想定内容（＝認識）から予測される感覚を、実際の感覚に近づけるように想定内容を修正することとして、運動は、意図した内容から予測される自己受容感覚に、実際の自己受容感覚を近づけるように筋肉を動かすこととして、理解されるのですが、これは結局、認識や筋肉に対して感覚の目標との差をフィードバックすることを意味していると私は思います。

フリストンが自由エネルギー原理を生命に普遍的な原理だと主張していても、私にはフィードバックが生命に普遍的な原理だという、（フィードバックが普遍的な原理であるのは生命現象に限りませんが）当たり前のことを主張しているようにも聞こえます。

期待自由エネルギーを「認識論的価値(epistemic value)」プラス「外在的価値(extrinsic value)」と解釈するのはおかしい。

これは北海道大学の吉田正俊氏の「自由エネルギー原理入門　改め　自由エネルギー原理の基礎徹底解説」に書かれていて、私も読んでそうだなと思ったことです。なお、期待自由エネルギーというのは未来の時点での自由エネルギーの期待値のことです。この期待自由エネルギーをフリストンは２つの項の和の形に書き、その一方の項を「認識論的価値(epistemic value)」を表していると解釈し、もう一方の項を「外在的価値(extrinsic value)」を表していると解釈しています。これらの意味を私ははっきり分かっていないのですが、前者は知ること自体を価値とするもので、後者は対象が明確になることの自体を価値とするもの、と理解しています。このうち、「認識論的価値(epistemic value)」の項の解釈は明らかに違うと思っています。

これから勉強していて、これらの認識が変っていくのかもしれません。