From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

要約

言語は私たちの下流の思考にどのように影響を与えるのでしょうか?
特に、人間はどのようにして言語から意味を作り出すのでしょうか?また、言語的意味の理論を活用して、より人間に近い方法で思考する機械を構築するにはどうすればよいでしょうか?
この論文では、言語の神経モデルと合理的推論のための確率モデルを組み合わせた、言語情報に基づいた思考のための計算フレームワークである \textit{合理的意味構築} を提案します。
私たちは言語の意味を、自然言語から \textit{確率論的思考言語} (PLoT)、つまり確率的生成世界モデリングのための汎用の記号基盤への文脈依存のマッピングとして組み立てます。
私たちのアーキテクチャは、これまで統合されていなかった 2 つの強力な計算ツールを統合しています。柔軟な常識推論のための表現表現である \textit{確率的プログラム} を使用して思考をモデル化します。
そして、\textit{ラージ言語モデル} (LLM) を使用して意味の構築をモデル化します。LLM は、自然言語の発話から確率的プログラミング言語のコード式までの広範囲の翻訳をサポートします。
確率的推論、論理的および関係的推論、視覚的および物理的推論、エージェントとその計画に関する社会的推論という、認知科学の 4 つの中核領域をカバーする例を通じて、実際のフレームワークを説明します。
それぞれにおいて、LLM が実用的に適切な言語的意味を捉える文脈依存の翻訳を生成できる一方、生成されたプログラムによるベイズ推論が一貫性のある堅牢な常識的推論をサポートしていることを示します。
私たちはフレームワークを拡張して、認知的に動機づけられた記号モジュールを統合し、言語からの統一された常識的思考インターフェースを提供します。
最後に、言語が世界モデルそのものの構築をどのように推進できるかを探ります。

要約(オリジナル)

How does language inform our downstream thinking? In particular, how do humans make meaning from language — and how can we leverage a theory of linguistic meaning to build machines that think in more human-like ways? In this paper, we propose \textit{rational meaning construction}, a computational framework for language-informed thinking that combines neural models of language with probabilistic models for rational inference. We frame linguistic meaning as a context-sensitive mapping from natural language into a \textit{probabilistic language of thought} (PLoT) — a general-purpose symbolic substrate for probabilistic, generative world modeling. Our architecture integrates two powerful computational tools that have not previously come together: we model thinking with \textit{probabilistic programs}, an expressive representation for flexible commonsense reasoning; and we model meaning construction with \textit{large language models} (LLMs), which support broad-coverage translation from natural language utterances to code expressions in a probabilistic programming language. We illustrate our framework in action through examples covering four core domains from cognitive science: probabilistic reasoning, logical and relational reasoning, visual and physical reasoning, and social reasoning about agents and their plans. In each, we show that LLMs can generate context-sensitive translations that capture pragmatically-appropriate linguistic meanings, while Bayesian inference with the generated programs supports coherent and robust commonsense reasoning. We extend our framework to integrate cognitively-motivated symbolic modules to provide a unified commonsense thinking interface from language. Finally, we explore how language can drive the construction of world models themselves.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google