XAI-TRIS: Non-linear benchmarks to quantify ML explanation performance

要約

「説明可能な」人工知能 (XAI) の分野では、たとえば入力特徴に「重要性」スコアを割り当てるなど、複雑な機械学習 (ML) 手法の決定を人間が「理解できる」ようにしようとする、非常に引用される手法が生み出されてきました。
しかし、正式な基礎が欠如しているため、特定の XAI メソッドの結果からどのような結論を安全に導き出すことができるかが不明確であり、これまでのところ、XAI メソッドの理論的検証と経験的検証も妨げられています。
これは、通常はディープ ニューラル ネットワークによって解決される困難な非線形問題が、現在適切な解決策を欠いていることを意味します。
ここでは、3 つの異なる非線形分類シナリオのベンチマーク データセットを作成します。このシナリオでは、重要なクラス条件付き特徴が設計によって既知であり、グラウンド トゥルースの説明として機能します。
新しい定量的メトリクスを使用して、3 つの深層学習モデル アーキテクチャにわたる幅広い XAI メソッドの説明パフォーマンスをベンチマークします。
一般的な XAI 手法は、ランダムなパフォーマンス ベースラインやエッジ検出手法を大幅に上回ることができないことが多いことを示します。
さらに、異なるモデル アーキテクチャから導出される説明は大きく異なる可能性があることを示します。
したがって、管理された条件下であっても誤解を招きやすい。

要約(オリジナル)

The field of ‘explainable’ artificial intelligence (XAI) has produced highly cited methods that seek to make the decisions of complex machine learning (ML) methods ‘understandable’ to humans, for example by attributing ‘importance’ scores to input features. Yet, a lack of formal underpinning leaves it unclear as to what conclusions can safely be drawn from the results of a given XAI method and has also so far hindered the theoretical verification and empirical validation of XAI methods. This means that challenging non-linear problems, typically solved by deep neural networks, presently lack appropriate remedies. Here, we craft benchmark datasets for three different non-linear classification scenarios, in which the important class-conditional features are known by design, serving as ground truth explanations. Using novel quantitative metrics, we benchmark the explanation performance of a wide set of XAI methods across three deep learning model architectures. We show that popular XAI methods are often unable to significantly outperform random performance baselines and edge detection methods. Moreover, we demonstrate that explanations derived from different model architectures can be vastly different; thus, prone to misinterpretation even under controlled conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google