From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

要約

言語は私たちの下流の思考にどのように影響を与えるのでしょうか?
特に、人間はどのようにして言語から意味を作り出すのでしょうか?また、言語的意味の理論を活用して、より人間に近い方法で考える機械を構築するにはどうすればよいでしょうか?
この論文では、合理的意味構築を提案します。これは、合理的推論のためのニューラル言語モデルと確率的モデルを組み合わせた、言語情報に基づいた思考のための計算フレームワークです。
私たちは言語の意味を、自然言語から確率的思考言語 (PLoT)、つまり生成世界モデリングのための汎用の象徴的基盤への文脈依存のマッピングとして組み立てます。
私たちのアーキテクチャは、これまで統合されていなかった 2 つの計算ツールを統合します。つまり、常識的な推論を表現する確率的プログラムで思考をモデル化します。
また、大規模言語モデル (LLM) を使用して意味の構築をモデル化します。LLM は、自然言語の発話から確率的プログラミング言語のコード表現までの広範囲の翻訳をサポートします。
確率的推論、論理的および関係的推論、視覚的および物理的推論、社会的推論という認知科学の 4 つの中核領域をカバーする例を通じて、フレームワークを説明します。
それぞれにおいて、LLM が実用的に適切な言語的意味を捉える文脈依存の翻訳を生成できる一方、生成されたプログラムによるベイズ推論が一貫性のある堅牢な常識的推論をサポートしていることを示します。
私たちはフレームワークを拡張して、認知的に動機づけられた記号モジュール (物理シミュレーター、グラフィックス エンジン、計画アルゴリズム) を統合し、言語から統一された常識的思考インターフェイスを提供します。
最後に、言語が世界モデルそのものの構築をどのように推進できるかを探ります。
私たちは、この研究が、現代と古典の両方の計算的観点の洞察を統合する認知モデルと AI システムに向けたロードマップを提供することを願っています。

要約(オリジナル)

How does language inform our downstream thinking? In particular, how do humans make meaning from language–and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose rational meaning construction, a computational framework for language-informed thinking that combines neural language models with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a probabilistic language of thought (PLoT)–a general-purpose symbolic substrate for generative world modeling. Our architecture integrates two computational tools that have not previously come together: we model thinking with probabilistic programs, an expressive representation for commonsense reasoning; and we model meaning construction with large language models (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules (physics simulators, graphics engines, and planning algorithms) to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves. We hope this work will provide a roadmap towards cognitive models and AI systems that synthesize the insights of both modern and classical computational perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google