The Generalizability of Explanations

要約

グラウンド トゥルースが存在しないため、説明可能性の方法の客観的な評価は、重要な研究の方向性です。
これまでのところ、評価の大部分は、人間による評価、感度テスト、および塩分チェックの 3 つのカテゴリに要約できます。
この作業は、一般化の観点から新しい評価方法論を提案します。
オートエンコーダーを使用して、生成された説明の分布を学習し、それらの学習可能性と、学習した分布特徴の妥当性を観察します。
最初に、LIME で提案されたアプローチの評価のアイデアを簡単に示し、次に、複数の一般的な説明可能性の方法を定量的に評価します。
また、SmoothGrad を使用して説明を平滑化すると、説明の一般化可能性が大幅に向上することもわかりました。

要約(オリジナル)

Due to the absence of ground truth, objective evaluation of explainability methods is an essential research direction. So far, the vast majority of evaluations can be summarized into three categories, namely human evaluation, sensitivity testing, and salinity check. This work proposes a novel evaluation methodology from the perspective of generalizability. We employ an Autoencoder to learn the distributions of the generated explanations and observe their learnability as well as the plausibility of the learned distributional features. We first briefly demonstrate the evaluation idea of the proposed approach at LIME, and then quantitatively evaluate multiple popular explainability methods. We also find that smoothing the explanations with SmoothGrad can significantly enhance the generalizability of explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google