Now you see me! A framework for obtaining class-relevant saliency maps

要約

ニューラルネットワークは、理解と透明性が重要であるハイステークス設定を含む、日常生活の意思決定の一部です。
顕著性マップは、特定の予測にニューラルネットワークが使用する入力機能を理解するために開発されています。
広く採用されていますが、これらの方法は、分類をトリガーした特定の情報を特定できない過度に一般的な顕著性マップをもたらすことがよくあります。
この作業では、クラスに属性を組み込んで、クラスに関連する情報を実際にキャプチャする顕著なマップに到達できるフレームワークを提案します。
グリッドポイントゲームやランダム化ベースの正気チェックなどの帰属方法用の確立されたベンチマークでは、フレームワークが標準の顕著性マップアプローチのパフォーマンスを大幅に向上させることを示しています。
設計上、モデルアーキテクチャと帰属方法をモデル化することは不可知論であり、モデル予測に使用される際立った機能と共有機能を特定できるようになりました。

要約(オリジナル)

Neural networks are part of daily-life decision-making, including in high-stakes settings where understanding and transparency are key. Saliency maps have been developed to gain understanding into which input features neural networks use for a specific prediction. Although widely employed, these methods often result in overly general saliency maps that fail to identify the specific information that triggered the classification. In this work, we suggest a framework that allows to incorporate attributions across classes to arrive at saliency maps that actually capture the class-relevant information. On established benchmarks for attribution methods, including the grid-pointing game and randomization-based sanity checks, we show that our framework heavily boosts the performance of standard saliency map approaches. It is, by design, agnostic to model architectures and attribution methods and now allows to identify the distinguishing and shared features used for a model prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google