Whether to trust: the ML leap of faith

要約

人間の信頼は、信頼できるAIの採用に対する前提条件ですが、信頼は依然としてよく理解されていません。
信頼はしばしば態度として説明されますが、態度を確実に測定または管理することはできません。
さらに、人間は頻繁にAIシステム、機械学習（ML）テクノロジー、およびその他のコンポーネントパーツにおける信頼を混同します。
MLの信頼に関与する「信仰の飛躍」を完全に理解することなく、ユーザーはこれらのシステムに固有の信頼を開発することはできません。
信頼を構築するための一般的なアプローチは、MLモデルの推論プロセスを説明することです。
ただし、そのような説明は、MLシステムの固有の複雑さのために非専門家に共鳴することができず、ユーザー自身の（特徴的でない）メンタルモデルから切断されます。
この作業は、ユーザーがMLに依存することを決定したときに取られた信仰の飛躍（LOF）を識別し、測定することにより、MLに固有の信頼を直接構築する革新的な方法を提出します。
LOFマトリックスは、MLモデルと人間の専門家のメンタルモデルとの間のアラインメントをキャプチャします。
この試合は、ユーザーのデータと客観的関数をMLエージェントと専門家の検証されたルールベースのエージェントの両方にフィー​​ドすることにより、厳密かつ実際に特定されています。
これは、ニューロ – 神経反応式アーキテクチャの新しいクラスを表しています。
LOFマトリックスは、ルールベースのエージェントとMLエージェントの間の信仰の飛躍を構成する距離をユーザーに明らかにします。
初めて、ユーザーが自己報告された意図ではなく、自分の行動を通じて信頼を実証するかどうか、およびそのような信頼が結果に基づいて価値があるかどうかを評価する信頼メトリックを提案します。
貢献の重要性は、MLトラストドライバーの経験的評価と管理を可能にし、信頼できるMLの採用をサポートできることです。
このアプローチは、長期的なハイステークスフィールドスタディ：マルチエージェント睡眠改善システムの3か月のパイロットを通じて説明されています。

要約(オリジナル)

Human trust is a prerequisite to trustworthy AI adoption, yet trust remains poorly understood. Trust is often described as an attitude, but attitudes cannot be reliably measured or managed. Additionally, humans frequently conflate trust in an AI system, its machine learning (ML) technology, and its other component parts. Without fully understanding the ‘leap of faith’ involved in trusting ML, users cannot develop intrinsic trust in these systems. A common approach to building trust is to explain a ML model’s reasoning process. However, such explanations often fail to resonate with non-experts due to the inherent complexity of ML systems and explanations are disconnected from users’ own (unarticulated) mental models. This work puts forward an innovative way of directly building intrinsic trust in ML, by discerning and measuring the Leap of Faith (LoF) taken when a user decides to rely on ML. The LoF matrix captures the alignment between an ML model and a human expert’s mental model. This match is rigorously and practically identified by feeding the user’s data and objective function into both an ML agent and an expert-validated rules-based agent: a verified point of reference that can be tested a priori against a user’s own mental model. This represents a new class of neuro-symbolic architecture. The LoF matrix reveals to the user the distance that constitutes the leap of faith between the rules-based and ML agents. For the first time, we propose trust metrics that evaluate whether users demonstrate trust through their actions rather than self-reported intent and whether such trust is deserved based on outcomes. The significance of the contribution is that it enables empirical assessment and management of ML trust drivers, to support trustworthy ML adoption. The approach is illustrated through a long-term high-stakes field study: a 3-month pilot of a multi-agent sleep-improvement system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google