Belief in the Machine: Investigating Epistemological Blind Spots of Language Models

要約

言語モデル (LM) が医療、法律、ジャーナリズムなどの分野に不可欠なものになるにつれ、事実、信念、知識を区別するその能力は信頼性の高い意思決定に不可欠です。
これらの違いを理解していないと、医学的診断、法的判断、フェイクニュースの拡散などの分野で重大な結果を招く可能性があります。
それにもかかわらず、現在の文献は主に心の理論などのより複雑な問題に焦点を当てており、より基本的な認識論的な課題が無視されています。
この研究では、13 のタスクにわたる 13,000 の質問で構成される新しいデータセット KaBLE を使用して、GPT-4、Claude-3、Llama-3 を含む最新の LM の認識論的推論能力を系統的に評価しています。
私たちの結果は重要な限界を明らかにしました。
まず、LM は事実のシナリオでは 86% の精度を達成しますが、偽のシナリオでは、特に信念に関連したタスクでパフォーマンスが大幅に低下します。
第二に、LMは個人の信念を認識し肯定することに苦労しており、特にその信念が事実のデータと矛盾する場合に、個人の信念と関わることが重要である医療やカウンセリングへの応用に懸念が生じます。
第三に、LM が一人称対三人称の信念をどのように処理するかについて顕著な偏りがあることを特定し、一人称タスク (54.4%) と比較して三人称タスク (80.7%) の方が優れたパフォーマンスを発揮します。
第四に、LM は知識の事実的な性質、つまり知識には本質的に真実が必要であるということについてのしっかりした理解を欠いています。
第 5 に、LM は事実確認のために言語的な手がかりに依存し、より深い推論を回避することがあります。
これらの調査結果は、現在のLMが真実、信念、知識について推論する能力についての重大な懸念を浮き彫りにすると同時に、重要な分野で広く展開する前にこれらの分野の進歩の必要性を強調しています。

要約(オリジナル)

As language models (LMs) become integral to fields like healthcare, law, and journalism, their ability to differentiate between fact, belief, and knowledge is essential for reliable decision-making. Failure to grasp these distinctions can lead to significant consequences in areas such as medical diagnosis, legal judgments, and dissemination of fake news. Despite this, current literature has largely focused on more complex issues such as theory of mind, overlooking more fundamental epistemic challenges. This study systematically evaluates the epistemic reasoning capabilities of modern LMs, including GPT-4, Claude-3, and Llama-3, using a new dataset, KaBLE, consisting of 13,000 questions across 13 tasks. Our results reveal key limitations. First, while LMs achieve 86% accuracy on factual scenarios, their performance drops significantly with false scenarios, particularly in belief-related tasks. Second, LMs struggle with recognizing and affirming personal beliefs, especially when those beliefs contradict factual data, which raises concerns for applications in healthcare and counseling, where engaging with a person’s beliefs is critical. Third, we identify a salient bias in how LMs process first-person versus third-person beliefs, performing better on third-person tasks (80.7%) compared to first-person tasks (54.4%). Fourth, LMs lack a robust understanding of the factive nature of knowledge, namely, that knowledge inherently requires truth. Fifth, LMs rely on linguistic cues for fact-checking and sometimes bypass the deeper reasoning. These findings highlight significant concerns about current LMs’ ability to reason about truth, belief, and knowledge while emphasizing the need for advancements in these areas before broad deployment in critical sectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google