Eight challenges in developing theory of intelligence

要約

数学的美しさに関する優れた理論は、物理的現実の新しい予測が自己矛盾なく検証できるため、現在の観察よりも実用的です。
この信念は、大規模な言語モデルや生物学的知能を含むディープ ニューラル ネットワークの理解の現状に当てはまります。
おもちゃのモデルは物理的現実の比喩を提供し、その現実 (つまり、いわゆる理論) を数学的に定式化することを可能にし、より多くの推測が正当化または反駁されるにつれて更新することができます。
すべての詳細をモデルに詰め込む必要はありませんが、脳や深層ネットワークのような複雑なシステムには多くの雑な次元がありますが、巨視的な観測値に強い影響を与える厳密な次元ははるかに少ないため、より抽象的なモデルが構築されます。
この種のボトムアップ機構モデリングは、自然知能または人工知能を理解する現代においても依然として有望です。
ここでは、この理論パラダイムに従って知能理論を開発する際の 8 つの課題に光を当てます。

要約(オリジナル)

A good theory of mathematical beauty is more practical than any current observation, as new predictions of physical reality can be verified self-consistently. This belief applies to the current status of understanding deep neural networks including large language models and even the biological intelligence. Toy models provide a metaphor of physical reality, allowing mathematically formulating that reality (i.e., the so-called theory), which can be updated as more conjectures are justified or refuted. One does not need to pack all details into a model, but rather, more abstract models are constructed, as complex systems like brains or deep networks have many sloppy dimensions but much less stiff dimensions that strongly impact macroscopic observables. This kind of bottom-up mechanistic modeling is still promising in the modern era of understanding the natural or artificial intelligence. Here, we shed light on eight challenges in developing theory of intelligence following this theoretical paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google