Fostering Trust and Quantifying Value of AI and ML

要約

人工知能 (AI) および機械学習 (ML) プロバイダーには、有効で信頼性の高いシステムを開発する責任があります。
AI と ML 推論 (予測を行ったりタスクを解決したりするために、トレーニングされた AI モデルを通じてライブデータを実行するプロセス) の信頼性については多くのことが議論されてきましたが、それが何を意味するのかを定義するためにはほとんど行われていません。
ML ベースの製品の分野に携わる人々は、透明性、説明可能性、安全性、バイアスなどのトピックに精通しています。
しかし、それらを定量化して測定するための枠組みはありません。
これまで以上に信頼できる機械学習推論を生成することは、製品の価値を高め（つまり、結果に対する信頼性を高める）、ユーザーと対話して製品を改善するためのフィードバックを収集するための道です。
このペーパーでは、プロバイダー (Trustor) とユーザー (Trustees) の間の信頼のダイナミクスを調べることから始めます。
委託者は信頼でき信頼に値することが求められますが、受託者は信頼も信頼に値する必要もありません。
委託者にとっての課題は、受託者の信頼レベルを以下の最低基準を超えて高めるのに十分な結果を提供することです。 1- 一緒にビジネスを行う。
2-サービスの継続。
最後に、信頼スコアを計算し、機械学習システムがどの程度信頼できると主張できるか、およびその動作の経時変化を客観的に理解するために使用されるフレームワークと実行可能な指標のセットを定義して提案します。

要約(オリジナル)

Artificial Intelligence (AI) and Machine Learning (ML) providers have a responsibility to develop valid and reliable systems. Much has been discussed about trusting AI and ML inferences (the process of running live data through a trained AI model to make a prediction or solve a task), but little has been done to define what that means. Those in the space of ML- based products are familiar with topics such as transparency, explainability, safety, bias, and so forth. Yet, there are no frameworks to quantify and measure those. Producing ever more trustworthy machine learning inferences is a path to increase the value of products (i.e., increased trust in the results) and to engage in conversations with users to gather feedback to improve products. In this paper, we begin by examining the dynamic of trust between a provider (Trustor) and users (Trustees). Trustors are required to be trusting and trustworthy, whereas trustees need not be trusting nor trustworthy. The challenge for trustors is to provide results that are good enough to make a trustee increase their level of trust above a minimum threshold for: 1- doing business together; 2- continuation of service. We conclude by defining and proposing a framework, and a set of viable metrics, to be used for computing a trust score and objectively understand how trustworthy a machine learning system can claim to be, plus their behavior over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google