A Diachronic Perspective on User Trust in AI under Uncertainty

要約

人間と AI のコラボレーションでは、ユーザーは AI システムの信頼性と、AI システムがその決定をどのように提示するかに基づいて、AI システムのメンタル モデルを構築します。
システムの信頼性の提示と出力の説明。
最新の NLP システムは多くの場合調整されていないため、確信をもって間違った予測が行われ、ユーザーの信頼が損なわれます。
信頼できる AI を構築するには、ユーザーの信頼がどのように育まれるのか、また、信頼を損なう可能性のある出来事が発生した後にそれをどのように回復できるのかを理解する必要があります。
私たちは、賭けゲームを使用して、これらの信頼を損なうイベントに応じたユーザーの信頼の進化を研究します。
不正確な信頼推定値を伴う不正確なインスタンスが数件発生しただけでも、ユーザーの信頼とパフォーマンスが損なわれ、回復が非常に遅くなることがわかりました。
また、この信頼の低下が人間と AI のコラボレーションの成功を低下させ、さまざまな種類の誤った調整 (自信を持って正しいか自信を持って間違っている) がユーザーの信頼に異なる悪影響を与えることも示します。
私たちの調査結果は、ユーザー向け AI アプリケーションにおける調整の重要性を強調し、ユーザーが AI システムを信頼するかどうかを判断するのにどのような側面が役立つかを明らかにしています。

要約(オリジナル)

In a human-AI collaboration, users build a mental model of the AI system based on its reliability and how it presents its decision, e.g. its presentation of system confidence and an explanation of the output. Modern NLP systems are often uncalibrated, resulting in confidently incorrect predictions that undermine user trust. In order to build trustworthy AI, we must understand how user trust is developed and how it can be regained after potential trust-eroding events. We study the evolution of user trust in response to these trust-eroding events using a betting game. We find that even a few incorrect instances with inaccurate confidence estimates damage user trust and performance, with very slow recovery. We also show that this degradation in trust reduces the success of human-AI collaboration and that different types of miscalibration — unconfidently correct and confidently incorrect — have different negative effects on user trust. Our findings highlight the importance of calibration in user-facing AI applications and shed light on what aspects help users decide whether to trust the AI system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google