Segmentation and Smoothing Affect Explanation Quality More Than the Choice of Perturbation-based XAI Method for Image Explanations

要約

摂動ベースの事後画像の説明方法は、一般的に画像予測モデルを説明するために使用されます。
これらのメソッドは、入力の部分を乱し、それらの部品が出力にどのように影響するかを測定します。
メソッドは入力と出力のみを必要とするため、任意のモデルに適用できるため、ブラックボックスモデルを説明するための一般的な選択肢になります。
多くの異なるモデルが存在し、互いに比較されていますが、さまざまな方法のパラメーターがパフォーマンスの変化に責任を負うことはよく理解されていません。
この作業では、プロキシメトリックを使用して、マスクサンプリング、セグメンテーション技術、スムージング、属性計算、およびセグメントごとまたはピクセルごとの属性の多くの組み合わせを評価するために、ベースラインとして説明（Rise）メソッドを使用します。
結果は、他の作品の焦点であることが多い属性計算が結果にほとんど影響を与えないことを示しています。
逆に、セグメンテーションとピクセルあたりの属性は、めったにパラメーターを調べることはありませんが、大きな影響を及ぼします。
この作業で収集されたデータの実装とデータは、オンラインで入手できます：https：//github.com/guspih/post-hoc-image-perturbationとhttps://bit.ly/smooth-mask-perturbation

要約(オリジナル)

Perturbation-based post-hoc image explanation methods are commonly used to explain image prediction models. These methods perturb parts of the input to measure how those parts affect the output. Since the methods only require the input and output they can be applied to any model, making them a popular choice to explain black-box models. While many different models exist and have been compared with one another, it remains poorly understood which parameters of the different methods are responsible for their varying performance. This work uses the Randomized Input Sampling for Explanations (RISE) method as a baseline to evaluate many combinations of mask sampling, segmentation techniques, smoothing, attribution calculation, and per-segment or per-pixel attribution, using a proxy metric. The results show that attribution calculation, which is frequently the focus of other works, has little impact on the results. Conversely, segmentation and per-pixel attribution, rarely examined parameters, have a significant impact. The implementation of and data gathered in this work are available online: https://github.com/guspih/post-hoc-image-perturbation and https://bit.ly/smooth-mask-perturbation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google