Sparse Explanations of Neural Networks Using Pruned Layer-Wise Relevance Propagation

要約

説明可能性は、ディープ ニューラル ネットワーク (DNN) が関与する多くのアプリケーションにおいて重要なコンポーネントです。
ただし、DNN の現在の説明方法では、関連する説明と偽のノイズを区別するのは人間の観察者に任されているのが一般的です。
画像などの人間が簡単にアクセスできるデータからゲノム配列などのより複雑なデータに移行する場合、これはもはや実現不可能です。
このような複雑なデータからの DNN 出力へのアクセスを容易にし、説明可能性を高めるために、広く使用されている説明方法である層ごとの関連性伝播の修正を紹介します。
私たちのアプローチは、さまざまなレイヤーの関連性の伝播を刈り込むことによって、スパース性を直接強制します。
これにより、入力特徴と中間層の関連性属性がより希薄になります。
関連性の伝播は入力固有であるため、基礎となるモデル アーキテクチャではなく、関連性の伝播をプルーニングすることを目指しています。
これにより、異なる入力に対して異なるニューロンをプルーニングできるため、説明方法の局所的な性質により適している可能性があります。
私たちの方法の有効性を実証するために、画像とゲノム配列の 2 種類のデータで評価します。
私たちの修正が実際にノイズ低減につながり、ベースラインと比較して最も重要な機能に関連性が集中していることを示します。

要約(オリジナル)

Explainability is a key component in many applications involving deep neural networks (DNNs). However, current explanation methods for DNNs commonly leave it to the human observer to distinguish relevant explanations from spurious noise. This is not feasible anymore when going from easily human-accessible data such as images to more complex data such as genome sequences. To facilitate the accessibility of DNN outputs from such complex data and to increase explainability, we present a modification of the widely used explanation method layer-wise relevance propagation. Our approach enforces sparsity directly by pruning the relevance propagation for the different layers. Thereby, we achieve sparser relevance attributions for the input features as well as for the intermediate layers. As the relevance propagation is input-specific, we aim to prune the relevance propagation rather than the underlying model architecture. This allows to prune different neurons for different inputs and hence, might be more appropriate to the local nature of explanation methods. To demonstrate the efficacy of our method, we evaluate it on two types of data, images and genomic sequences. We show that our modification indeed leads to noise reduction and concentrates relevance on the most important features compared to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google