Local and Global Explainability Metrics for Machine Learning Predictions

要約

人工知能 (AI) 技術の急速な進歩は、ガバナンスと規制の面で多くの新しい課題をもたらしました。
AI システムはさまざまな業界やセクターに統合されており、意思決定者は、これらのシステムの機能と制限を包括的かつ微妙に理解する必要があります。
この需要の重要な側面の 1 つは、機械学習モデルの結果を説明する能力です。これは、AI システムの透明性と信頼を促進するために不可欠であり、機械学習モデルを倫理的に訓練するのに役立つ基本的なものでもあります。
この論文では、分類子モデルと回帰モデルの予測を解釈するための新しい定量的メトリック フレームワークを提示します。
提案された指標はモデルにとらわれず、定量化できるように定義されています。
グローバルおよびローカル機能の重要度分布に基づく解釈可能性要因。
ii.
モデル出力に対する機能の影響の変動性。
およびiii。
モデルの決定における機能の相互作用の複雑さ。
公開されているデータセットを使用して、提案されたメトリクスを、顧客の信用リスクの予測 (分類タスク) と不動産価格の評価 (回帰タスク) に焦点を当てたさまざまな機械学習モデルに適用します。
結果は、これらのメトリクスがモデル予測のより包括的な理解を提供し、意思決定者と利害関係者の間のより良いコミュニケーションを促進する方法を明らかにし、それによって AI システムの全体的な透明性と説明責任を高めます。

要約(オリジナル)

Rapid advancements in artificial intelligence (AI) technology have brought about a plethora of new challenges in terms of governance and regulation. AI systems are being integrated into various industries and sectors, creating a demand from decision-makers to possess a comprehensive and nuanced understanding of the capabilities and limitations of these systems. One critical aspect of this demand is the ability to explain the results of machine learning models, which is crucial to promoting transparency and trust in AI systems, as well as fundamental in helping machine learning models to be trained ethically. In this paper, we present novel quantitative metrics frameworks for interpreting the predictions of classifier and regressor models. The proposed metrics are model agnostic and are defined in order to be able to quantify: i. the interpretability factors based on global and local feature importance distributions; ii. the variability of feature impact on the model output; and iii. the complexity of feature interactions within model decisions. We employ publicly available datasets to apply our proposed metrics to various machine learning models focused on predicting customers’ credit risk (classification task) and real estate price valuation (regression task). The results expose how these metrics can provide a more comprehensive understanding of model predictions and facilitate better communication between decision-makers and stakeholders, thereby increasing the overall transparency and accountability of AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google