The Essence of Contextual Understanding in Theory of Mind: A Study on Question Answering with Story Characters

要約

セオリー・オブ・マインド（ToM）は、人間が他者の精神状態を理解し、解釈することを可能にする基本的な心理学的能力である。人間は、多くの場合過去の相互作用から得られる幅広い文脈情報から、因果的な手がかりと間接的な手がかりを統合することによって、他者の思考を推測する。言い換えれば、人間のToMは、他者の背景や人生の物語についての理解に大きく依存している。残念なことに、機械のToM能力を評価するための既存のベンチマークでは、グローバルな背景を持たない短い物語が使用されているため、この側面はほとんど見落とされている。本稿では、ToMにおける長い個人的背景の理解の重要性を検証し、そのような現実的な評価シナリオにおけるLLMの性能を評価する。そのために、古典小説の登場人物に基づく1,035問のToM問題からなる新しいベンチマークCharToM-QAを導入する。我々の人体実験では、性能に著しい格差があることが明らかになった。同じグループの高学歴の参加者は、小説を読んでいるときと読んでいないときで、性能が劇的に異なるのである。これと並行して、ごく最近のo1モデルを含む最新のLLMを用いた実験では、LLMは事前学習中にこれらの物語を見たにもかかわらず、人間よりも著しく悪い結果を示した。このことは、ToM推論に必要な微妙な文脈情報を捉える上での現在のLLMの限界を浮き彫りにしている。

要約(オリジナル)

Theory-of-Mind (ToM) is a fundamental psychological capability that allows humans to understand and interpret the mental states of others. Humans infer others’ thoughts by integrating causal cues and indirect clues from broad contextual information, often derived from past interactions. In other words, human ToM heavily relies on the understanding about the backgrounds and life stories of others. Unfortunately, this aspect is largely overlooked in existing benchmarks for evaluating machines’ ToM capabilities, due to their usage of short narratives without global backgrounds. In this paper, we verify the importance of understanding long personal backgrounds in ToM and assess the performance of LLMs in such realistic evaluation scenarios. To achieve this, we introduce a novel benchmark, CharToM-QA, comprising 1,035 ToM questions based on characters from classic novels. Our human study reveals a significant disparity in performance: the same group of educated participants performs dramatically better when they have read the novels compared to when they have not. In parallel, our experiments on state-of-the-art LLMs, including the very recent o1 model, show that LLMs still perform notably worse than humans, despite that they have seen these stories during pre-training. This highlights the limitations of current LLMs in capturing the nuanced contextual information required for ToM reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL