Deletion and Insertion Tests in Regression Models

要約

Explainable AI (XAI) の基本的なタスクは、ブラック ボックス関数 $f$ によって行われる予測の背後にある最も重要な特徴を特定することです。
Petsiuk et al. の挿入および削除テスト。
(2018) は、分類において最も重要なピクセルから最も重要でないピクセルまでランク付けするアルゴリズムの品質を判断するために使用できます。
回帰問題を動機として、$f$ のアンカー分解における特定の主効果と交互作用の観点から、曲線下面積 (AUC) 基準の式を確立します。
$f$ への入力のランダムな順序の下で AUC の期待値の式を見つけ、回帰設定の直線より上の代替領域を提案します。
この基準を使用して、統合勾配 (IG) によって計算された特徴量の重要度を、カーネル SHAP (KS) および LIME、DeepLIFT、バニラ勾配、input$\times$gradient メソッドによって計算されたものと比較します。
KS は、検討した 2 つのデータセットの中で全体的なパフォーマンスが最も優れていますが、計算コストが非常に高くなります。
IG は KS とほぼ同等でありながら、はるかに高速であることがわかりました。
私たちの比較問題には、可能な変数レベル間の値を使用する必要があるため、IG にとって課題となるいくつかのバイナリ入力が含まれているため、IG でバイナリ変数を処理する方法を検討します。
変数を Shapley 値で並べ替えても、挿入-削除テストに最適な順序が必ずしも得られるわけではないことを示します。
ただし、ロジスティック回帰などの加法モデルの単調関数ではこれが行われます。

要約(オリジナル)

A basic task in explainable AI (XAI) is to identify the most important features behind a prediction made by a black box function $f$. The insertion and deletion tests of Petsiuk et al. (2018) can be used to judge the quality of algorithms that rank pixels from most to least important for a classification. Motivated by regression problems we establish a formula for their area under the curve (AUC) criteria in terms of certain main effects and interactions in an anchored decomposition of $f$. We find an expression for the expected value of the AUC under a random ordering of inputs to $f$ and propose an alternative area above a straight line for the regression setting. We use this criterion to compare feature importances computed by integrated gradients (IG) to those computed by Kernel SHAP (KS) as well as LIME, DeepLIFT, vanilla gradient and input$\times$gradient methods. KS has the best overall performance in two datasets we consider but it is very expensive to compute. We find that IG is nearly as good as KS while being much faster. Our comparison problems include some binary inputs that pose a challenge to IG because it must use values between the possible variable levels and so we consider ways to handle binary variables in IG. We show that sorting variables by their Shapley value does not necessarily give the optimal ordering for an insertion-deletion test. It will however do that for monotone functions of additive models, such as logistic regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google