Concept-based Explanations for Out-Of-Distribution Detectors

要約

分布外 (OOD) 検出は、ディープ ニューラル ネットワーク (DNN) 分類器の安全な展開を確保する上で重要な役割を果たします。
無数の方法が OOD 検出器のパフォーマンスの向上に焦点を当ててきましたが、その決定の解釈には重大なギャップが残っています。
私たちは、学習した高レベルの概念に基づいて OOD 検出器の説明を提供することで、このギャップを埋めるのに役立ちます。
まず、OOD 検出器を説明するための特定の概念セットの有効性を評価するための 2 つの新しい指標を提案します。1) 検出完全性。これは、OOD 検出器の決定を説明するための概念の十分性を定量化します。2) 概念分離可能性。これは、分布を把握します。
概念空間における配信中データと OOD データの分離。
これらの指標に基づいて、高い検出完全性と概念分離性という望ましい特性を満たす一連の概念を学習するための教師なしフレームワークを提案し、さまざまな既製の OOD 検出器に概念ベースの説明を提供する際のその有効性を実証します。
また、検出結果に寄与する顕著な概念を特定する方法と、その決定についてのさらなる推論を提供する方法も示します。

要約(オリジナル)

Out-of-distribution (OOD) detection plays a crucial role in ensuring the safe deployment of deep neural network (DNN) classifiers. While a myriad of methods have focused on improving the performance of OOD detectors, a critical gap remains in interpreting their decisions. We help bridge this gap by providing explanations for OOD detectors based on learned high-level concepts. We first propose two new metrics for assessing the effectiveness of a particular set of concepts for explaining OOD detectors: 1) detection completeness, which quantifies the sufficiency of concepts for explaining an OOD-detector’s decisions, and 2) concept separability, which captures the distributional separation between in-distribution and OOD data in the concept space. Based on these metrics, we propose an unsupervised framework for learning a set of concepts that satisfy the desired properties of high detection completeness and concept separability, and demonstrate its effectiveness in providing concept-based explanations for diverse off-the-shelf OOD detectors. We also show how to identify prominent concepts contributing to the detection results, and provide further reasoning about their decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google