Can LLMs Ground when they (Don’t) Know: A Study on Direct and Loaded Political Questions

要約

人間間のコミュニケーションは、会話の基礎に依存しており、対話者が完全な知識を持っていない場合でも相互の理解に到達できるようになり、お互いの信念の矛盾を解決しなければなりません。
この論文では、言語モデル（LLM）が知識を持っている場合に共通の基盤を管理する方法を調査し、誤った情報と接地の失敗のリスクが高い政治的領域の事実に焦点を当てています。
LLMSが直接的な知識の質問に答え、誤った情報を前提とする質問に答える能力を調べます。
ロードされた質問が、LLMが積極的な接地に関与し、知識のレベルと政治的バイアスに関連して、誤ったユーザーの信念を修正するように導くかどうかを評価します。
私たちの調査結果は、LLMSの根拠に従事し、誤ったユーザーの信念を拒否する能力における重要な課題を強調し、政治的言説における誤った情報の緩和における彼らの役割についての懸念を高めています。

要約(オリジナル)

Communication among humans relies on conversational grounding, allowing interlocutors to reach mutual understanding even when they do not have perfect knowledge and must resolve discrepancies in each other’s beliefs. This paper investigates how large language models (LLMs) manage common ground in cases where they (don’t) possess knowledge, focusing on facts in the political domain where the risk of misinformation and grounding failure is high. We examine the ability of LLMs to answer direct knowledge questions and loaded questions that presuppose misinformation. We evaluate whether loaded questions lead LLMs to engage in active grounding and correct false user beliefs, in connection to their level of knowledge and their political bias. Our findings highlight significant challenges in LLMs’ ability to engage in grounding and reject false user beliefs, raising concerns about their role in mitigating misinformation in political discourse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google