Valid P-Value for Deep Learning-Driven Salient Region

要約

ディープラーニングモデルの予測結果を解釈・説明するために、様々なSaliency Map手法が提案されています。顕著性マップを用いることで、入力信号のどの部分が予測結果に強い影響を与えるかを解釈することができます。しかし、ディープラーニングモデルでは複雑な計算によって顕著性マップが得られるため、顕著性マップ自体の信頼性を知ることが困難な場合が多い。そこで本研究では、顕著性領域の信頼性をp値という形で定量化する手法を提案する。我々のアイデアは、顕著領域を学習済み深層学習モデルによる選択仮説とみなし、選択的推論の枠組みを採用することである。提案手法は、顕著領域の誤検出の確率を証明的に制御することができる。合成データセットと実データセットにおける数値例を通じて、提案手法の有効性を実証する。さらに、幅広いクラスのCNNに対して、追加の実装コストなしに提案する選択的推論を実施するためのKerasベースのフレームワークを開発する。

要約(オリジナル)

Various saliency map methods have been proposed to interpret and explain predictions of deep learning models. Saliency maps allow us to interpret which parts of the input signals have a strong influence on the prediction results. However, since a saliency map is obtained by complex computations in deep learning models, it is often difficult to know how reliable the saliency map itself is. In this study, we propose a method to quantify the reliability of a salient region in the form of p-values. Our idea is to consider a salient region as a selected hypothesis by the trained deep learning model and employ the selective inference framework. The proposed method can provably control the probability of false positive detections of salient regions. We demonstrate the validity of the proposed method through numerical examples in synthetic and real datasets. Furthermore, we develop a Keras-based framework for conducting the proposed selective inference for a wide class of CNNs without additional implementation cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL