Humans, AI, and Context: Understanding End-Users’ Trust in a Real-World Computer Vision Application

要約

信頼は、人々が AI システムとやり取りする際の重要な要素です。
しかし、実際のエンドユーザーが対話する AI システムをどのように信頼するか不信感を持つかを調査する実証研究は不足しています。
ほとんどの研究は、実験室環境における仮想のエンドユーザーとの信頼の一側面を調査しています。
このペーパーでは、現実世界のコンピューター ビジョン アプリケーションの定性的なケース スタディを通じて、AI の信頼についての全体的かつ微妙な理解を提供します。
人気の AI ベースの鳥識別アプリのエンドユーザー 20 名にインタビューし、アプリに対する信頼性についてさまざまな角度から調査した結果を報告します。
参加者はアプリが信頼できるものであると認識し、信頼していましたが、検証行動を行った後はアプリの出力を選択的に受け入れ、特定のリスクの高いシナリオではアプリの導入を拒否したことがわかりました。
また、ドメインの知識とコンテキストが信頼関連の評価と意思決定にとって重要な要素であることもわかりました。
私たちは調査結果の意味について議論し、AI の信頼に関する今後の研究への推奨事項を提供します。

要約(オリジナル)

Trust is an important factor in people’s interactions with AI systems. However, there is a lack of empirical studies examining how real end-users trust or distrust the AI system they interact with. Most research investigates one aspect of trust in lab settings with hypothetical end-users. In this paper, we provide a holistic and nuanced understanding of trust in AI through a qualitative case study of a real-world computer vision application. We report findings from interviews with 20 end-users of a popular, AI-based bird identification app where we inquired about their trust in the app from many angles. We find participants perceived the app as trustworthy and trusted it, but selectively accepted app outputs after engaging in verification behaviors, and decided against app adoption in certain high-stakes scenarios. We also find domain knowledge and context are important factors for trust-related assessment and decision-making. We discuss the implications of our findings and provide recommendations for future research on trust in AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google