Think Twice: Perspective-Taking Improves Large Language Models’ Theory-of-Mind Capabilities

要約

人間の相互作用は、思考、信念、欲望の相互作用に深く根ざしており、これは心の理論 (ToM)、つまり自分自身と他人の精神状態を理解する認知能力によって可能になります。
ToM は私たちにとって自然なことかもしれませんが、ToM をエミュレートすることは、最も高度な大規模言語モデル (LLM) にとってさえ困難を伴います。
最近、思考連鎖などのシンプルだが効果的なプロンプト手法による LLM の推論機能の向上が見られ、ToM への適用は限られています。
本稿では、このギャップを埋めるために、著名な認知科学理論「シミュレーション理論」に目を向けます。
シミュレーション理論の視点取得の概念に触発された、新しい 2 段階のプロンプト フレームワークである SimToM を紹介します。
このアイデアを現在の ToM ベンチマークに実装するために、SimToM はまず、精神状態に関する質問に答える前に、問題のキャラクターが知っていることに基づいてコンテキストをフィルターします。
追加のトレーニングや最小限の即時調整を必要としない私たちのアプローチは、既存の方法に比べて大幅な改善を示しており、私たちの分析により、心の理論の機能に対する視点の重要性が明らかになりました。
私たちの調査結果は、LLM の ToM 機能を改善するための将来の研究の有望な方向性として、見通しを立てることを示唆しています。

要約(オリジナル)

Human interactions are deeply rooted in the interplay of thoughts, beliefs, and desires made possible by Theory of Mind (ToM): our cognitive ability to understand the mental states of ourselves and others. Although ToM may come naturally to us, emulating it presents a challenge to even the most advanced Large Language Models (LLMs). Recent improvements to LLMs’ reasoning capabilities from simple yet effective prompting techniques such as Chain-of-Thought have seen limited applicability to ToM. In this paper, we turn to the prominent cognitive science theory ‘Simulation Theory’ to bridge this gap. We introduce SimToM, a novel two-stage prompting framework inspired by Simulation Theory’s notion of perspective-taking. To implement this idea on current ToM benchmarks, SimToM first filters context based on what the character in question knows before answering a question about their mental state. Our approach, which requires no additional training and minimal prompt-tuning, shows substantial improvement over existing methods, and our analysis reveals the importance of perspective-taking to Theory-of-Mind capabilities. Our findings suggest perspective-taking as a promising direction for future research into improving LLMs’ ToM capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google