Does Reasoning Emerge? Examining the Probabilities of Causation in Large Language Models

要約

AI の最近の進歩は、人間の思考に似た方法で複雑な問題を解決する大規模言語モデル (LLM) の機能によって大きく推進されています。
ただし、LLM が実際の推論をどの程度実行できるかについては、議論が続いています。
この議論の中心となるのは、原因とその結果を結び付けるために不可欠な 2 つの重要な確率論的な概念です。それは、必要性の確率 (PN) と十分性の確率 (PS) です。
この論文では、LLM がこれらの確率的尺度を使用して現実世界の推論メカニズムをどの程度効果的に再現できるかを評価することを目的とした、理論的かつ実践的なフレームワークを紹介します。
LLM を自然言語インターフェイスを通じて情報を処理する抽象マシンとみなすことにより、PN と PS の適切な近似値を計算できる条件を調べます。
私たちの研究は、一連の数学の例で示されているように、LLM が推論できる時期をより深く理解するための重要な一歩を示しています。

要約(オリジナル)

Recent advances in AI have been significantly driven by the capabilities of large language models (LLMs) to solve complex problems in ways that resemble human thinking. However, there is an ongoing debate about the extent to which LLMs are capable of actual reasoning. Central to this debate are two key probabilistic concepts that are essential for connecting causes to their effects: the probability of necessity (PN) and the probability of sufficiency (PS). This paper introduces a framework that is both theoretical and practical, aimed at assessing how effectively LLMs are able to replicate real-world reasoning mechanisms using these probabilistic measures. By viewing LLMs as abstract machines that process information through a natural language interface, we examine the conditions under which it is possible to compute suitable approximations of PN and PS. Our research marks an important step towards gaining a deeper understanding of when LLMs are capable of reasoning, as illustrated by a series of math examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google