Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker

要約

心の理論 (ToM)$\unicode{x2014}$他人の精神状態について推論する能力$\unicode{x2014}$は、私たちの社会的知性の重要な要素です。
しかし、そのパフォーマンスがますます優れているにもかかわらず、大規模なニューラル言語モデルには、そのまま使える基本的な心の理論の機能がまだ欠けています。
私たちは、モデルを単にスケールアップするだけでは、現象の本質的に象徴的かつ暗黙的な性質のため、モデルに心の理論を吹き込むことはできないと仮定し、代わりに代替案を調査します。つまり、オフザの心の理論を強化するデコード時のアルゴリズムを設計できるかどうかです。
-明示的な監視なしでニューラル言語モデルを棚上げしますか?
我々は、明示的な記号表現を介して読解タスクにおいて複数の登場人物の信念状態を推論するプラグアンドプレイのアプローチである SymbolicToM を紹介します。
より具体的には、私たちのアプローチは、各エンティティの信念、他のエンティティの信念の推定、および高次レベルの推論をすべてグラフィック表現を通じて追跡し、以前のアプローチよりも正確で解釈可能な推論を可能にします。
有名な ToMi ベンチマーク (Le et al., 2019) の実験結果は、SymbolicToM がゼロショット設定で既製のニューラル ネットワークの心の理論を劇的に強化する一方、分散外での堅牢なパフォーマンスを示すことを示しています。
監視されたベースライン。
私たちの研究はまた、既存の心の理論のベンチマークにおける偽のパターンを明らかにし、分布外の評価と特定のデータセットに過剰適合しない方法の重要性を強調しています。

要約(オリジナル)

Theory of Mind (ToM)$\unicode{x2014}$the ability to reason about the mental states of other people$\unicode{x2014}$is a key element of our social intelligence. Yet, despite their ever more impressive performance, large-scale neural language models still lack basic theory of mind capabilities out-of-the-box. We posit that simply scaling up models will not imbue them with theory of mind due to the inherently symbolic and implicit nature of the phenomenon, and instead investigate an alternative: can we design a decoding-time algorithm that enhances theory of mind of off-the-shelf neural language models without explicit supervision? We present SymbolicToM, a plug-and-play approach to reason about the belief states of multiple characters in reading comprehension tasks via explicit symbolic representation. More concretely, our approach tracks each entity’s beliefs, their estimation of other entities’ beliefs, and higher-order levels of reasoning, all through graphical representations, allowing for more precise and interpretable reasoning than previous approaches. Empirical results on the well-known ToMi benchmark (Le et al., 2019) demonstrate that SymbolicToM dramatically enhances off-the-shelf neural networks’ theory of mind in a zero-shot setting while showing robust out-of-distribution performance compared to supervised baselines. Our work also reveals spurious patterns in existing theory of mind benchmarks, emphasizing the importance of out-of-distribution evaluation and methods that do not overfit a particular dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google