Evaluation of Explanation Methods of AI — CNNs in Image Classification Tasks with Reference-based and No-reference Metrics

要約

AI 機械学習パラダイムで最も一般的な方法は、主にブラック ボックスです。
これが、AI の決定の説明が緊急である理由です。
専用の説明ツールが大規模に開発されていますが、その品質の評価は未解決の研究課題のままです。
この論文では、参照および非参照ベースのメトリックを使用して、視覚的分類タスクにおける CNN の決定の事後説明者の評価の方法論を一般化します。
以前に開発した説明器 (FEM、MLFEM)、および一般的な Grad-CAM にそれらを適用します。
参照ベースのメトリックは、ピアソンの相関係数と、説明マップと、心理視覚実験で得られた凝視密度マップによって表されるそのグラウンド トゥルースとの間で計算された類似度です。
非参照メトリックとして、Alvarez-Melis と Jaakkola によって提案された安定性メトリックを使用します。
その動作、参照ベースのメトリックとのコンセンサスを研究し、入力画像のいくつかの種類の劣化の場合、このメトリックが参照ベースのメトリックと一致することを示します。
したがって、グラウンド トゥルースが利用できない場合の説明者の品質の評価に使用できます。

要約(オリジナル)

The most popular methods in AI-machine learning paradigm are mainly black boxes. This is why explanation of AI decisions is of emergency. Although dedicated explanation tools have been massively developed, the evaluation of their quality remains an open research question. In this paper, we generalize the methodologies of evaluation of post-hoc explainers of CNNs’ decisions in visual classification tasks with reference and no-reference based metrics. We apply them on our previously developed explainers (FEM, MLFEM), and popular Grad-CAM. The reference-based metrics are Pearson correlation coefficient and Similarity computed between the explanation map and its ground truth represented by a Gaze Fixation Density Map obtained with a psycho-visual experiment. As a no-reference metric, we use stability metric, proposed by Alvarez-Melis and Jaakkola. We study its behaviour, consensus with reference-based metrics and show that in case of several kinds of degradation on input images, this metric is in agreement with reference-based ones. Therefore, it can be used for evaluation of the quality of explainers when the ground truth is not available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google