Scrutinizing XAI using linear ground-truth data with suppressor variables

要約

機械学習 (ML) は、一か八かの意思決定を通知するために使用されることが増えています。
複雑な ML モデル (ディープ ニューラル ネットワークなど) はブラック ボックスとみなされることが多いため、その内部の仕組みや予測がどのように行われるかを解明するために豊富な手順が開発され、「説明可能な AI」の分野を定義しています (
ザイ）。
顕著性メソッドは、「重要性」の何らかの尺度に従って入力特徴をランク付けします。
これまでのところ、特徴量の重要性の正式な定義が不足しているため、このような方法を検証するのは困難です。
いくつかの顕著性手法は、予測ターゲット (抑制変数) と統計的な関連性を持たない特徴を強調表示できることが実証されています。
このような動作による誤解を避けるために、特徴の重要性の必要条件および客観的な予備定義として、そのような関連性が実際に存在することを提案します。
私たちは、すべての統計的依存関係が明確かつ線形であるグラウンド トゥルース データセットを慎重に作成し、サプレッサー変数の問題を研究するためのベンチマークとして機能しました。
私たちは、目的の定義に関して、LRP、DTD、PatternNet、PatternAttribution、LIME、Anchors、SHAP、および順列ベースの手法を含む一般的な説明手法を評価します。
この設定では、これらの手法のほとんどが重要な特徴とサプレッサーを区別できないことを示します。

要約(オリジナル)

Machine learning (ML) is increasingly often used to inform high-stakes decisions. As complex ML models (e.g., deep neural networks) are often considered black boxes, a wealth of procedures has been developed to shed light on their inner workings and the ways in which their predictions come about, defining the field of ‘explainable AI’ (XAI). Saliency methods rank input features according to some measure of ‘importance’. Such methods are difficult to validate since a formal definition of feature importance is, thus far, lacking. It has been demonstrated that some saliency methods can highlight features that have no statistical association with the prediction target (suppressor variables). To avoid misinterpretations due to such behavior, we propose the actual presence of such an association as a necessary condition and objective preliminary definition for feature importance. We carefully crafted a ground-truth dataset in which all statistical dependencies are well-defined and linear, serving as a benchmark to study the problem of suppressor variables. We evaluate common explanation methods including LRP, DTD, PatternNet, PatternAttribution, LIME, Anchors, SHAP, and permutation-based methods with respect to our objective definition. We show that most of these methods are unable to distinguish important features from suppressors in this setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google