Towards A Holistic Landscape of Situated Theory of Mind in Large Language Models

要約

大規模言語モデル (LLM) は、心の理論 (ToM) の出現の可能性に関して多大な関心と議論を引き起こしています。
最近のいくつかの調査では、これらのモデルには堅牢な ToM が欠如していることが明らかになり、現在のベンチマークは主に ToM のさまざまな側面に焦点を当てており、ショートカットやデータ漏洩が発生しやすいため、新しいベンチマークの開発が差し迫った要求となっています。
この意見書では、次の 2 つの障害となる質問に答えようとします: (1) マシン ToM の全体的な状況をどのように分類できるか?
(2) マシン ToM のより効果的な評価プロトコルは何ですか?
心理学的研究に続いて、私たちはマシンの ToM を 7 つの精神状態カテゴリに分類し、既存のベンチマークを概説して、ToM の十分に調査されていない側面を特定します。
私たちは、ToM を個々のコンポーネントに分割し、環境内に物理的に位置し、人間との相互作用において社会的に位置するエージェントとして LLM を扱うために、ToM の全体的かつ状況に応じた評価を主張します。
このような状況に応じた評価により、精神状態のより包括的な評価が提供され、ショートカットやデータ漏洩のリスクが軽減される可能性があります。
さらに、概念実証としてグリッド ワールド設定でのパイロットスタディを紹介します。
この意見書が、ToM と LLM を統合する将来の研究を促進し、研究者が ToM の状況の中で自分の研究をより適切に位置付けるための直感的な手段を提供できることを願っています。
プロジェクトページ: https://github.com/Mars-tin/awesome- Theory-of-mind

要約(オリジナル)

Large Language Models (LLMs) have generated considerable interest and debate regarding their potential emergence of Theory of Mind (ToM). Several recent inquiries reveal a lack of robust ToM in these models and pose a pressing demand to develop new benchmarks, as current ones primarily focus on different aspects of ToM and are prone to shortcuts and data leakage. In this position paper, we seek to answer two road-blocking questions: (1) How can we taxonomize a holistic landscape of machine ToM? (2) What is a more effective evaluation protocol for machine ToM? Following psychological studies, we taxonomize machine ToM into 7 mental state categories and delineate existing benchmarks to identify under-explored aspects of ToM. We argue for a holistic and situated evaluation of ToM to break ToM into individual components and treat LLMs as an agent who is physically situated in environments and socially situated in interactions with humans. Such situated evaluation provides a more comprehensive assessment of mental states and potentially mitigates the risk of shortcuts and data leakage. We further present a pilot study in a grid world setup as a proof of concept. We hope this position paper can facilitate future research to integrate ToM with LLMs and offer an intuitive means for researchers to better position their work in the landscape of ToM. Project page: https://github.com/Mars-tin/awesome-theory-of-mind

arxiv情報

提供元, 利用サービス

arxiv.jp, Google