Fact or Artifact? Revise Layer-wise Relevance Propagation on various ANN Architectures

要約

Layer-wise Relevance Propagation (LRP) は、さまざまな人工ニューラル ネットワーク (ANN) アーキテクチャに関する洞察を明らかにするために広く使用されている強力な手法です。
LRP は、画像分類のコンテキストでよく使用されます。
目的は、入力サンプルのどの部分が最も関連性が高く、したがってモデルの予測に最も大きな影響を与えるかを理解することです。
関連性をネットワークを通じて追跡して、各入力ピクセルに特定のスコアを割り当てることができます。
その後、関連性スコアが結合されてヒート マップとして表示され、人間が分類モデルを直感的に視覚的に理解できるようになります。
ブラック ボックスを開いて分類エンジンを詳細に理解することは、ドメインの専門家が ANN モデルに対する信頼を得るために不可欠です。
ただし、取得された関連性マップに含まれるモデル固有のアーティファクトに関しては、見落とされやすい落とし穴があります。
しかし、有効な解釈のためには、これらのアーティファクトを無視してはなりません。
ここでは、地理空間データおよび合成データの分類器としてトレーニングされたさまざまな ANN アーキテクチャに LRP を適用および修正します。
ネットワーク アーキテクチャに応じて、モデルの焦点を制御する手法を示し、ファクトとアーティファクトを区別するために取得された関連性マップの品質を向上させるためのガイダンスを提供します。

要約(オリジナル)

Layer-wise relevance propagation (LRP) is a widely used and powerful technique to reveal insights into various artificial neural network (ANN) architectures. LRP is often used in the context of image classification. The aim is to understand, which parts of the input sample have highest relevance and hence most influence on the model prediction. Relevance can be traced back through the network to attribute a certain score to each input pixel. Relevance scores are then combined and displayed as heat maps and give humans an intuitive visual understanding of classification models. Opening the black box to understand the classification engine in great detail is essential for domain experts to gain trust in ANN models. However, there are pitfalls in terms of model-inherent artifacts included in the obtained relevance maps, that can easily be missed. But for a valid interpretation, these artifacts must not be ignored. Here, we apply and revise LRP on various ANN architectures trained as classifiers on geospatial and synthetic data. Depending on the network architecture, we show techniques to control model focus and give guidance to improve the quality of obtained relevance maps to separate facts from artifacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google