Finding the right XAI method — A Guide for the Evaluation and Ranking of Explainable AI Methods in Climate Science

要約

説明可能な人工知能 (XAI) メソッドは、ディープ ニューラル ネットワーク (DNN) の予測に光を当てます。
いくつかの異なるアプローチが存在し、一部はすでに気候科学にうまく適用されています。
ただし、グラウンド トゥルースの説明が欠落していることが多いため、評価と検証が複雑になり、XAI 手法の選択が難しくなります。
したがって、この作業では、気候研究のコンテキストで XAI 評価を紹介し、さまざまな望ましい説明プロパティ、つまり、堅牢性、忠実性、ランダム化、複雑さ、およびローカリゼーションを評価します。
この目的のために、以前の研究に基づいて構築し、多層パーセプトロン (MLP) と畳み込みニューラル ネットワーク (CNN) をトレーニングして、年間平均気温マップに基づいて 10 年間を予測します。
次に、複数のローカル XAI メソッドが適用され、各評価プロパティのパフォーマンスが定量化され、ベースライン テストと比較されます。
ネットワークの種類に関係なく、XAI メソッドの Integrated Gradients、Layer-wise Relevance Propagation、および InputGradients は、ランダム化を犠牲にしながら、かなりの堅牢性、忠実性、および複雑さを示すことがわかりました。
Gradient、SmoothGrad、NoiseGrad、FusionGrad の場合は逆です。
特に、SmoothGrad や Integrated Gradients などの入力摂動を使用した説明は、以前の主張に反して、ロバスト性と忠実性を改善しません。
全体として、私たちの実験は、気候科学の文脈における説明方法のさまざまな特性の包括的な概要を提供し、適切な XAI 方法の選択においてユーザーをサポートします。

要約(オリジナル)

Explainable artificial intelligence (XAI) methods shed light on the predictions of deep neural networks (DNNs). Several different approaches exist and have partly already been successfully applied in climate science. However, the often missing ground truth explanations complicate their evaluation and validation, subsequently compounding the choice of the XAI method. Therefore, in this work, we introduce XAI evaluation in the context of climate research and assess different desired explanation properties, namely, robustness, faithfulness, randomization, complexity, and localization. To this end we build upon previous work and train a multi-layer perceptron (MLP) and a convolutional neural network (CNN) to predict the decade based on annual-mean temperature maps. Next, multiple local XAI methods are applied and their performance is quantified for each evaluation property and compared against a baseline test. Independent of the network type, we find that the XAI methods Integrated Gradients, Layer-wise relevance propagation, and InputGradients exhibit considerable robustness, faithfulness, and complexity while sacrificing randomization. The opposite is true for Gradient, SmoothGrad, NoiseGrad, and FusionGrad. Notably, explanations using input perturbations, such as SmoothGrad and Integrated Gradients, do not improve robustness and faithfulness, contrary to previous claims. Overall, our experiments offer a comprehensive overview of different properties of explanation methods in the climate science context and supports users in the selection of a suitable XAI method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google