How good Neural Networks interpretation methods really are? A quantitative benchmark

要約

タイトル：ニューラルネットワークの解釈手法の実際の性能はどの程度良いか？数量的ベンチマーク

要約：深層学習モデルの決定を解釈するためには、Saliency Maps（SM）が広く使用され、モデルが関連のあると判断した特徴を強調します。SMは、線形特徴選択（FS）法が関連のある変数を強調できない高度に非線形な問題に使用されます。しかし、SMなどの勾配ベースの特徴属性手法の信頼性は、主に質的（視覚的）に評価されており、画像データでは明確な正解がないため、数量的なベンチマークが不足しています。このような手法の視覚的評価によって導入される誤認の偏りが心配され、本論文ではニューラルネットワーク（NN）の解釈手法のために合成的な数量的ベンチマークを提案しています。このために、非線形に分離されたクラスとランダムな変数の数が増加する合成データセットを構築し、高次元設定でのFSの課題を示しています。また、これらの手法をmRMRやランダムフォレストなどの従来の手法と比較しています。私たちの結果は、簡単な合成データセットでも、多くの手法を挑戦していることを示しています。TreeShap、mRMR、LassoNetが最も優れたFS手法です。さらに、多くの無関係なノイズ変数に希少な非線形的に絡み合った予測的特徴の関連性を量るとき、ニューラルネットワークベースのFSおよび解釈手法はまだ信頼性が低いことを示しています。

要約(オリジナル)

Saliency Maps (SMs) have been extensively used to interpret deep learning models decision by highlighting the features deemed relevant by the model. They are used on highly nonlinear problems, where linear feature selection (FS) methods fail at highlighting relevant explanatory variables. However, the reliability of gradient-based feature attribution methods such as SM has mostly been only qualitatively (visually) assessed, and quantitative benchmarks are currently missing, partially due to the lack of a definite ground truth on image data. Concerned about the apophenic biases introduced by visual assessment of these methods, in this paper we propose a synthetic quantitative benchmark for Neural Networks (NNs) interpretation methods. For this purpose, we built synthetic datasets with nonlinearly separable classes and increasing number of decoy (random) features, illustrating the challenge of FS in high-dimensional settings. We also compare these methods to conventional approaches such as mRMR or Random Forests. Our results show that our simple synthetic datasets are sufficient to challenge most of the benchmarked methods. TreeShap, mRMR and LassoNet are the best performing FS methods. We also show that, when quantifying the relevance of a few non linearly-entangled predictive features diluted in a large number of irrelevant noisy variables, neural network-based FS and interpretation methods are still far from being reliable.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI