Understanding Epistemic Language with a Language-augmented Bayesian Theory of Mind

要約

これらの信念を直接観察することはできませんが、人々は他人の信念についての主張をどのように理解し評価しますか？
この論文では、他のエージェントの目標、信念、意図に関するベイジアンの推論に基づいた認識言語解釈の認知モデルを紹介します。
自然言語を文法制約のLLMデコードで認識論的な「言語」に変換し、合理的な行動と知覚の生成モデルを反転させることによって生じるこれらの翻訳を評価することにより、LABTOMは認識論的主張の採点された妥当性判断をキャプチャします。
私たちは、参加者がエージェントが迷路をナビゲートして目標を達成するために必要な箱に隠されたキーを見つけ、エージェントの信念に関する文章を評価する実験でモデルを検証します。
マルチモーダルLLMS（GPT-4O、Gemini Pro）およびアブレーションモデルとは対照的に、モデルは、モーダル言語、不確実性の表現、知識の主張、尤度の比較、誤った信念の属性など、幅広い表現の人間の判断と非常に相関しています。

要約(オリジナル)

How do people understand and evaluate claims about others’ beliefs, even though these beliefs cannot be directly observed? In this paper, we introduce a cognitive model of epistemic language interpretation, grounded in Bayesian inferences about other agents’ goals, beliefs, and intentions: a language-augmented Bayesian theory-of-mind (LaBToM). By translating natural language into an epistemic “language-of-thought” with grammar-constrained LLM decoding, then evaluating these translations against the inferences produced by inverting a generative model of rational action and perception, LaBToM captures graded plausibility judgments of epistemic claims. We validate our model in an experiment where participants watch an agent navigate a maze to find keys hidden in boxes needed to reach their goal, then rate sentences about the agent’s beliefs. In contrast with multimodal LLMs (GPT-4o, Gemini Pro) and ablated models, our model correlates highly with human judgments for a wide range of expressions, including modal language, uncertainty expressions, knowledge claims, likelihood comparisons, and attributions of false belief.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google