What Else Do I Need to Know? The Effect of Background Information on Users’ Reliance on AI Systems

要約

AI システムは、関連するコンテキストを取得することで質問に答えるという優れたパフォーマンスを示しています。
しかし、モデルがますます大きくなるにつれて、モデルの知識や推論を取得されたコンテキストのみに制限することは不可能であり、多くの場合望ましくないことになります。
これにより、これらのモデルが答えを導き出すためにアクセスする情報と、AI 予測を利用するユーザーが AI 予測された答えを評価するために利用できる情報との間に不一致が生じます。
この研究では、AI の予測を評価するための十分な情報がない場合に、ユーザーが AI システムとどのように対話するかを研究します。
さらに、必要な背景を追加することで、AI 予測への過度の依存に関する懸念が軽減されるかどうかという質問をします。
私たちの調査では、AI 予測の正しさを評価するために必要な十分な情報がない場合でも、ユーザーが AI 予測に依存していることが明らかになりました。
ただし、関連する背景を提供すると、ユーザーが AI エラーをより適切に発見できるようになり、不正確な AI 予測への過度の依存が軽減されます。
逆に、背景情報は、ユーザーの正しい判断や間違った判断に対する信頼も高めます。
一般的な予想に反して、ハイライトを通じてユーザーが文脈や背景を熟読できるようにすることは、より多くの情報を入手できることに起因する過信の問題を軽減するのには役に立ちません。
私たちの研究の目的は、NLP 開発者が人間と AI の対話における情報の必要性をどのように認識しているかということと、人間と利用可能な情報との実際の対話との間のギャップを浮き彫りにすることです。

要約(オリジナル)

AI systems have shown impressive performance at answering questions by retrieving relevant context. However, with the increasingly large models, it is impossible and often undesirable to constrain models’ knowledge or reasoning to only the retrieved context. This leads to a mismatch between the information that these models access to derive the answer and the information available to the user consuming the AI predictions to assess the AI predicted answer. In this work, we study how users interact with AI systems in absence of sufficient information to assess AI predictions. Further, we ask the question of whether adding the requisite background alleviates the concerns around over-reliance in AI predictions. Our study reveals that users rely on AI predictions even in the absence of sufficient information needed to assess its correctness. Providing the relevant background, however, helps users catch AI errors better, reducing over-reliance on incorrect AI predictions. On the flip side, background information also increases users’ confidence in their correct as well as incorrect judgments. Contrary to common expectation, aiding a user’s perusal of the context and the background through highlights is not helpful in alleviating the issue of over-confidence stemming from availability of more information. Our work aims to highlight the gap between how NLP developers perceive informational need in human-AI interaction and the actual human interaction with the information available to them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google