GAIA: Delving into Gradient-based Attribution Abnormality for Out-of-distribution Detection

要約

現実世界の設定におけるディープ ニューラル ネットワークの信頼性と安全性を保証するには、配布範囲外 (OOD) の例を検出することが重要です。
この論文では、分布内 (ID) データと OOD データの間の差異を定量化し、モデルが予測決定を説明しようとするときに生じる不確実性を分析するという革新的な視点を提供します。
この視点は、勾配ベースのアトリビューション手法が OOD データに特徴量の重要性を割り当てる際に課題に直面し、それによって異なる説明パターンが生じるという観察によって動機付けられています。
したがって、帰属勾配がどのようにして不確実な説明結果につながるかを調査し、OOD 検出に 2 つの形式の異常、つまりゼロ収縮異常とチャネルごとの平均異常を導入します。
次に、勾配異常検査と集計を組み込んだシンプルで効果的なアプローチである GAIA を提案します。
GAIA の有効性は、一般的に利用されている (CIFAR) ベンチマークと大規模な (ImageNet-1k) ベンチマークの両方で検証されています。
具体的には、GAIA は、高度なポストホック手法と比較して、平均 FPR95 を CIFAR10 で 23.10%、CIFAR100 で 45.41% 削減します。

要約(オリジナル)

Detecting out-of-distribution (OOD) examples is crucial to guarantee the reliability and safety of deep neural networks in real-world settings. In this paper, we offer an innovative perspective on quantifying the disparities between in-distribution (ID) and OOD data — analyzing the uncertainty that arises when models attempt to explain their predictive decisions. This perspective is motivated by our observation that gradient-based attribution methods encounter challenges in assigning feature importance to OOD data, thereby yielding divergent explanation patterns. Consequently, we investigate how attribution gradients lead to uncertain explanation outcomes and introduce two forms of abnormalities for OOD detection: the zero-deflation abnormality and the channel-wise average abnormality. We then propose GAIA, a simple and effective approach that incorporates Gradient Abnormality Inspection and Aggregation. The effectiveness of GAIA is validated on both commonly utilized (CIFAR) and large-scale (ImageNet-1k) benchmarks. Specifically, GAIA reduces the average FPR95 by 23.10% on CIFAR10 and by 45.41% on CIFAR100 compared to advanced post-hoc methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google