(1)のつづき 「MDL/圧縮の観点」でのMDLとは何ですか？ MDLとは「最小記述長（Minimum Description Length）」の略で、情報理論に基づくモデル選択の基準を指します。要するに、データを表現するための全体の「記述の長さ」を最小にするモデルが最適だとする…

茂木健一郎によれば、甘利俊一さんが 茂木君、LLMってどうしてあんなにうまくいくかわかんないじゃん と語っていたそうです（上の動画の7:34あたりから）。つまり、理論的にはLLMの性能が解明されていないそうです。この点は本当ですか？ 結論：半分は本当、…