Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies

要約

大規模な言語モデル（LLMS）は、流fluentで説得力のある音に聞こえる誤った応答を生成し、ユーザーが正しいかのようにこれらの応答に依存するリスクを高めます。
このような過依存を軽減することが重要な課題です。
参加者がLLM注入アプリケーションを使用して客観的な質問に答えるThink-Aloud研究を通じて、ユーザーの信頼を形作るLLM応答のいくつかの機能を特定します。説明（回答の詳細のサポート）、説明の不一致、およびソース。
大規模で事前に登録された制御された実験（n = 308）を通じて、ユーザーの信頼、精度、およびその他の測定値に対するこれらの機能の影響を分離および研究します。
説明の存在は、正しい応答と誤った応答の両方に依存していることがわかります。
ただし、ソースが提供されている場合、または説明が矛盾を示す場合、誤った応答への依存度が低いことがわかります。
LLMSへの適切な依存を促進するためのこれらの調査結果の意味について説明します。

要約(オリジナル)

Large language models (LLMs) can produce erroneous responses that sound fluent and convincing, raising the risk that users will rely on these responses as if they were correct. Mitigating such overreliance is a key challenge. Through a think-aloud study in which participants use an LLM-infused application to answer objective questions, we identify several features of LLM responses that shape users’ reliance: explanations (supporting details for answers), inconsistencies in explanations, and sources. Through a large-scale, pre-registered, controlled experiment (N=308), we isolate and study the effects of these features on users’ reliance, accuracy, and other measures. We find that the presence of explanations increases reliance on both correct and incorrect responses. However, we observe less reliance on incorrect responses when sources are provided or when explanations exhibit inconsistencies. We discuss the implications of these findings for fostering appropriate reliance on LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google