Integrated Decision Gradients: Compute Your Attributions Where the Model Makes Its Decision

要約

ニューラル ネットワーク モデルの決定を説明するために、帰属アルゴリズムが頻繁に使用されます。
Integrated Gradients (IG) は、その強力な公理的基盤により、影響力のある帰属手法です。
このアルゴリズムは、参照画像から入力画像までのパスに沿った勾配の統合に基づいています。
残念ながら、パスに沿って出力ロジットの変化が最小限である領域から計算された勾配では、飽和効果問題と呼ばれるモデルの決定の説明が不十分であることがわかります。
この論文では、統合決定勾配 (IDG) と呼ばれる属性アルゴリズムを提案します。
このアルゴリズムは、モデルが決定を行うパスの領域、つまり出力ロジットがゼロから最終値に急速に遷移するパスの部分からの勾配を統合することに重点を置いています。
これは実際には、パスに関する出力ロジットの導関数によって各勾配をスケーリングすることによって実現されます。
したがって、このアルゴリズムは飽和問題に対する原理的な解決策を提供します。
さらに、適応サンプリングによって決定される不均一な細分を利用することにより、経路積分のリーマン和近似内の誤差を最小限に抑えます。
ImageNet での評価では、3 つの一般的なモデルにわたる標準的な挿入および削除メトリクスを使用して、IDG が定性的および定量的に IG、left-IG、ガイド付き IG、および敵対的勾配統合より優れていることが実証されました。

要約(オリジナル)

Attribution algorithms are frequently employed to explain the decisions of neural network models. Integrated Gradients (IG) is an influential attribution method due to its strong axiomatic foundation. The algorithm is based on integrating the gradients along a path from a reference image to the input image. Unfortunately, it can be observed that gradients computed from regions where the output logit changes minimally along the path provide poor explanations for the model decision, which is called the saturation effect problem. In this paper, we propose an attribution algorithm called integrated decision gradients (IDG). The algorithm focuses on integrating gradients from the region of the path where the model makes its decision, i.e., the portion of the path where the output logit rapidly transitions from zero to its final value. This is practically realized by scaling each gradient by the derivative of the output logit with respect to the path. The algorithm thereby provides a principled solution to the saturation problem. Additionally, we minimize the errors within the Riemann sum approximation of the path integral by utilizing non-uniform subdivisions determined by adaptive sampling. In the evaluation on ImageNet, it is demonstrated that IDG outperforms IG, left-IG, guided IG, and adversarial gradient integration both qualitatively and quantitatively using standard insertion and deletion metrics across three common models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google