Concept-based Explanations for Out-Of-Distribution Detectors

要約

分布外 (OOD) 検出は、ディープ ニューラル ネットワーク (DNN) 分類器の安全な展開を確保する上で重要な役割を果たします。
無数の方法が OOD 検出器のパフォーマンスの向上に焦点を合わせてきましたが、その決定の解釈には重大なギャップが残っています。
学習した高レベルの概念に基づいて OOD 検出器の説明を提供することで、このギャップを埋めるのに役立ちます。
最初に、OOD 検出器を説明するための特定の一連の概念の有効性を評価するための 2 つの新しいメトリックを提案します。
概念空間での配布データと OOD データの分離。
これらのメトリックに基づいて、検出の完全性と概念の分離可能性の望ましい特性を満たす一連の概念を学習するためのフレームワークを提案し、さまざまな OOD 手法に概念ベースの説明を提供する際のフレームワークの有効性を示します。
また、変更された Shapley 値ベースの重要度スコアを介して、検出結果に寄与する顕著な概念を特定する方法も示します。

要約(オリジナル)

Out-of-distribution (OOD) detection plays a crucial role in ensuring the safe deployment of deep neural network (DNN) classifiers. While a myriad of methods have focused on improving the performance of OOD detectors, a critical gap remains in interpreting their decisions. We help bridge this gap by providing explanations for OOD detectors based on learned high-level concepts. We first propose two new metrics for assessing the effectiveness of a particular set of concepts for explaining OOD detectors: 1) detection completeness, which quantifies the sufficiency of concepts for explaining an OOD-detector’s decisions, and 2) concept separability, which captures the distributional separation between in-distribution and OOD data in the concept space. Based on these metrics, we propose a framework for learning a set of concepts that satisfy the desired properties of detection completeness and concept separability and demonstrate the framework’s effectiveness in providing concept-based explanations for diverse OOD techniques. We also show how to identify prominent concepts that contribute to the detection results via a modified Shapley value-based importance score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google