(2)の続き 具体的に私はどうすればいいのですか？ 具体的に進めるためには、以下の手順を試してみるのはいかがでしょうか？ 1. 実験の条件を準備する 簡単なルールのペアを作る： 例えば、「A→B、C→D、E→?」のような形式で、最初の段階で明確な対応を示しま…

(1)のつづき 未知の変数（ラベル）への対応を見る実験が気になります。 なるほど、未知の変数への対応はとても興味深いテーマですね！これは、モデルが新しい情報やルールに即時適応できる能力を探るための鍵になります。 具体的な実験方法例 1. ペアの構築…

あなたが説明して下さったことよりも、そもそもインコンテキスト学習（In-context Learning）がなぜ可能になるのかを知りたいです。 インコンテキスト学習（ICL）が可能になるのは、その構造自体に秘められた力と、大規模言語モデル（LLM）が訓練された背景…

(2)のつづき 「CoTの忠実性」という文章の「CoT」とは何ですか？ 「CoT」は、「Chain of Thought（思考の連鎖）」の略です。AIモデルが回答を生成する際に、その思考過程を段階的に表現する方法を指します。 具体例: 通常、AIは最終的な回答を一気に生成しま…

(1)のつづき 「MDL/圧縮の観点」でのMDLとは何ですか？ MDLとは「最小記述長（Minimum Description Length）」の略で、情報理論に基づくモデル選択の基準を指します。要するに、データを表現するための全体の「記述の長さ」を最小にするモデルが最適だとする…

茂木健一郎によれば、甘利俊一さんが 茂木君、LLMってどうしてあんなにうまくいくかわかんないじゃん と語っていたそうです（上の動画の7:34あたりから）。つまり、理論的にはLLMの性能が解明されていないそうです。この点は本当ですか？ 結論：半分は本当、…

LLMは、文章が入力された時に処理を行い、文章を出力しています。文章の入力がない時には何の活動もしていないと推測します。ところが意識の場合は入力がなくてもなにがしかの思考を行っていると、自分の体験から考えます。よって、LLMには意識がない、と私…

LIFE3.0――人工知能時代に人間であるということ作者:マックス・テグマーク紀伊國屋書店Amazon テグマークの本「LIFE 3.0」を読み終わりました。LIFE 3.0とはあなたの子孫のような超知性体のことでした。そのような超知性体が宇宙に拡大していく未来を予想する…

ソロモノフ帰納法の考え方が面白そうなので、ここまで議論してきたのですが、改めて考えてみるとソロモノフ帰納法とLMMの能力の関係について私の理解が出来ていません。それで議論をさかのぼってみるとあなたが「言語モデル＝データ圧縮」と言っていたことか…

モデルは単純であるべきだが、単純すぎてはいけないと思います。 例えば、 ただしというようなの数列があり、ここでは定数、は平均ゼロ、-0.5から0.5の範囲の一様分布に従う確率変数、とします。 の値が分かっていて、そこからの値を予測するという問題を考…

予測のためのアルゴリズムの記述を短くすることによって、アルゴリズム内に必然的に世界のモデルが形成されていくのではないか、と思いました。 非常に鋭い洞察ですね！その通り、予測アルゴリズムを簡潔に記述しようとする過程で、アルゴリズムの中に世界の…

「コルモゴロフ複雑性」について説明して下さい。 コルモゴロフ複雑性とは、データ列を最も簡潔に記述できるプログラムの長さを基準に、その複雑さを測る概念です。ロシアの数学者アンドレイ・コルモゴロフが提唱したこの概念は、情報理論や計算理論の重要な…

「情報理論や圧縮理論の観点から「言語モデリング＝データ圧縮」と捉える議論」とあなたは言いましたが、これについて教えて下さい。どのような議論がなされているのでしょうか？ 情報理論と圧縮理論の観点から、「言語モデリング＝データ圧縮」と捉える議論…

マックス・テグマークの研究内容をご存じですか？ マックス・テグマークは、スウェーデン出身の理論物理学者で、宇宙論やAI分野での貢献が特に注目されています。彼の代表的な研究分野を簡単にまとめると以下のようになります： 宇宙論: 初期宇宙の状態を明…

茂木健一郎によれば、甘利俊一さんが 茂木君、LLMってどうしてあんなにうまくいくかわかんないじゃん と語っていたそうです（上の動画の7:34あたりから）。つまり、理論的にはLLMの性能が解明されていないそうです。この点は本当ですか？ そうですね、大規模…

今度の話題は、AIの発達によるニヒリズムの深化についてです。AIがどんどん人間に近づくにつれて、人間が自分のことを「単なる機械に過ぎない」と思い始め、自分の命を粗末にするのではないか、と私は危惧しています。私たちの世代については危惧していませ…

AIエージェントについて教えて下さい。 もちろんです！AIエージェントについて、わかりやすくご説明しますね。 AIエージェントとは？ AIエージェント（Artificial Intelligence Agent）とは、ある目的を達成するために、環境を観察し、判断し、行動する能力…

茂木健一郎は統合情報理論(IIT)は疑似科学だと言っていました。 それはとても興味深い指摘ですね。茂木健一郎さんは、意識の研究において「クオリア（主観的な感覚の質）」を重視する立場で知られており、統合情報理論（IIT）に対しては一貫して懐疑的な姿勢…

「Copilotとの会話：AIが意識を持つかどうかについて」で示した会話をしたあと、私はその感想をfacebookに書きました。以下が、その内容です。 ちょっと不気味な経験をしました。 MicrosoftのCopilotに、AIが意識を持つかどうかについて、対話をしていました…

LLMは、文章が入力された時に処理を行い、文章を出力しています。文章の入力がない時には何の活動もしていないと推測します。ところが意識の場合は入力がなくてもなにがしかの思考を行っていると、自分の体験から考えます。よって、LLMには意識がない、と私…

AIに意識があると考える学者はいますか？ はい、AIに意識がある可能性を真剣に考えている学者は実際に存在します。ただし、これは非常に議論の多いテーマであり、学術界でも意見が分かれています。 - AIに意識があると考える主な学者・研究者 1. David Chalm…

前回からつづく。 最後に引用するのは「6章 E素子」の中の6.2と6.3です。6.2では、4.2で「素子」と呼ばれたものをさらに厳密に定義し、これを「E素子」と名付けてています。ここではコンピュータの設計に役立つように、人間のニューロンでは成り立たないよう…

1945年にフォン・ノイマンによって書かれた「First draft of a report on the EDVAC（＝EDVACに関する報告書の第一草稿）」には、コンピュータと人間の脳神経系を比較して論じた個所が複数あります。それらはこの第一草稿の中でそれほど大きな部分を占めてい…

目次へ 前へ 15.4 Let us now compare the numbers of digits necessary to express these orders with the number of available digits in a minor cycle--31, as stated at the beginning of 15.3. To begin with we have in ()-() 8 types of order, to d…

目次へ 次へ 前へ 15.0 THE CODE 15.0 コード 15.1 The considerations of 14.0 provide the basis for a complete classification of the contents of M, i.e. they enumerate a system of successive disjunctions which give together this classificatio…

目次へ 次へ 前へ 14.0 CC AND M 14.0 CCとM 14.1 Our next aim is to go deeper into the analysis of CC. Such an analysis, however, is dependent upon a precise knowledge of the system of orders used in controlling the device, since the functio…

目次へ 次へ 前へ 13.0 ORGANIZATION OF M 13.0 Mの組織 13.1 We return to the discussion of a delay memory based on the analysis and the conclusions of 12.6 and 12.7. It is best to start by considering Figure 19 again, and the alternatives wh…

目次へ 次へ 前へ 12.8 The discussions up to this point were based entirely on the assumption of a delay memory. It is therefore important to note that this need not be the only practicable solution for the memory problem--indeed, there exi…

目次へ 次へ 前へ 12.6 We saw above that each dl organ requires about 10 associated vacuum tubes, essentially independently of its length. (A very long dl might require one more stage of amplication, i.e. 11 vacuum tubes.) Thus the number o…

目次へ 次へ 前へ 12.4 The estimates of 12.3 can be summarized as follows: The needs of (d)-(h) are alternative, i.e. they cannot occur in the same problem. The highest estimate reached here was one of 6,000 minor cycles, but already 1,000 …