Predictive Minds: LLMs As Atypical Active Inference Agents

要約

GPT のような大規模言語モデル (LLM) は、多くの場合、受動的予測器、シミュレーター、さらには確率論的なオウムとして概念化されます。
代わりに、認知科学と神経科学に由来する能動推論の理論を利用して LLM を概念化します。
私たちは、従来の能動推論システムと LLM の類似点と相違点を検討し、現在のところ、LLM は世界での行動とその行動の影響の認識との間に緊密なフィードバック ループを欠いているが、それ以外の点では能動推論のパラダイムに適合しているという結論に導きました。
このループが間もなく終了する可能性がある理由と、モデルの自己認識の強化や世界を変えることで予測誤差を最小限に抑えようとする動きなど、これによって考えられる結果を列挙します。

要約(オリジナル)

Large language models (LLMs) like GPT are often conceptualized as passive predictors, simulators, or even stochastic parrots. We instead conceptualize LLMs by drawing on the theory of active inference originating in cognitive science and neuroscience. We examine similarities and differences between traditional active inference systems and LLMs, leading to the conclusion that, currently, LLMs lack a tight feedback loop between acting in the world and perceiving the impacts of their actions, but otherwise fit in the active inference paradigm. We list reasons why this loop may soon be closed, and possible consequences of this including enhanced model self-awareness and the drive to minimize prediction error by changing the world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google