EPA: Neural Collapse Inspired Robust Out-of-Distribution Detector

要約

分布外（OOD）検出はニューラルネットワークの安全性を確保する上で重要な役割を果たす。既存の研究では、分布内（ID）サンプルが特徴空間の部分空間を形成することを利用し、最先端の（SOTA）性能を達成している。しかし、ID部分空間の包括的な特性はまだ未解明のままである。最近、Neural Collapse ($mathcal{NC}$)が発見され、ID部分空間の新しい特性に光が当てられた。mathcal{NC}$からの洞察を活用して、特徴量とID特徴部分空間の間の主角度が、OODの尤度を測定するための優れた表現を形成することを観測する。この観察に基づき、我々は、ID部分空間の大域的特性とその内部特性の両方を統合する、エントロピー強化主角度（EPA）と名付けた新しい$mathcal{NC}$に触発されたOODスコアリング関数を提案する。EPAを様々なSOTAアプローチと実験的に比較し、異なるネットワークアーキテクチャとOODデータセットにおいて、その優れた性能と頑健性を検証する。

要約(オリジナル)

Out-of-distribution (OOD) detection plays a crucial role in ensuring the security of neural networks. Existing works have leveraged the fact that In-distribution (ID) samples form a subspace in the feature space, achieving state-of-the-art (SOTA) performance. However, the comprehensive characteristics of the ID subspace still leave under-explored. Recently, the discovery of Neural Collapse ($\mathcal{NC}$) sheds light on novel properties of the ID subspace. Leveraging insight from $\mathcal{NC}$, we observe that the Principal Angle between the features and the ID feature subspace forms a superior representation for measuring the likelihood of OOD. Building upon this observation, we propose a novel $\mathcal{NC}$-inspired OOD scoring function, named Entropy-enhanced Principal Angle (EPA), which integrates both the global characteristic of the ID subspace and its inner property. We experimentally compare EPA with various SOTA approaches, validating its superior performance and robustness across different network architectures and OOD datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL