ToM-LM: Delegating Theory Of Mind Reasoning to External Symbolic Executors in Large Language Models

要約

心の理論 (ToM) は、精神状態を他人のせいにする個人の能力を指します。
大規模言語モデル (LLM) は ToM 機能にある程度の期待を示していますが、依然として複雑な ToM 推論に苦労しています。
私たちのアプローチは、外部のシンボリック エグゼキュータ、特に SMCDEL モデル チェッカーを活用し、LLM の ToM 推論能力を向上させる微調整を利用します。
私たちのアプローチでは、LLM はまず自然言語と ToM 問題の記号定式化表現のペアを通じて微調整され、次にコンテキスト内でのワンショットの例を使用して記号定式化を生成するように指示されます。
生成されたシンボリック定式化は SMCDEL モデル チェッカーによって実行され、透過的で検証可能な ToM 推論が実行され、最終結果が得られます。
私たちのアプローチである ToM-LM が、構築されたすべてのベースラインに対して大幅な改善を示すことを実証します。
私たちの研究は、ToM 推論の特定の要素、主に信念に関する推論を外部化することに関する新しい見解を提案し、それを ToM 推論の他の側面に一般化することを提案しています。

要約(オリジナル)

Theory of Mind (ToM) refers to the ability of individuals to attribute mental states to others. While Large Language Models (LLMs) have shown some promise with ToM ability, they still struggle with complex ToM reasoning. Our approach leverages an external symbolic executor, specifically the SMCDEL model checker, and fine-tuning to improve the ToM reasoning ability of LLMs. In our approach, an LLM is first fine-tuned through pairs of natural language and symbolic formulation representation of ToM problems and is then instructed to generate the symbolic formulation with a one-shot in-context example. The generated symbolic formulation is then executed by the SMCDEL model checker to perform transparent and verifiable ToM reasoning and give the final result. We demonstrate that our approach, ToM-LM, shows a significant improvement over all the constructed baselines. Our study proposes a novel view about externalizing a particular component of ToM reasoning, mainly reasoning about beliefs, and suggests generalizing it to other aspects of ToM reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google