NECO: NEural Collapse Based Out-of-distribution detection

要約

分布外 (OOD) データの検出は、モデルの認識論的限界が認識されていないことが多いため、モデルの過信が原因で機械学習において重要な課題となります。
損失収束を超えて訓練されたモデルの分布内データに影響を与える現象である「ニューラル崩壊」は、OODデータにも影響を与えるという仮説を立てています。
この相互作用から利益を得るために、OOD データを識別するために「神経崩壊」と主成分空間の幾何学的特性を活用する、OOD 検出のための新しいポストホック手法である NECO を紹介します。
私たちの広範な実験により、NECO が小規模および大規模の OOD 検出タスクの両方で最先端の結果を達成しながら、さまざまなネットワーク アーキテクチャにわたって強力な汎用化機能を発揮することが実証されました。
さらに、OOD 検出における私たちの方法の有効性について理論的な説明を提供します。
匿名期間終了後にコードを公開する予定です。

要約(オリジナル)

Detecting out-of-distribution (OOD) data is a critical challenge in machine learning due to model overconfidence, often without awareness of their epistemological limits. We hypothesize that “neural collapse”, a phenomenon affecting in-distribution data for models trained beyond loss convergence, also influences OOD data. To benefit from this interplay, we introduce NECO, a novel post-hoc method for OOD detection, which leverages the geometric properties of “neural collapse” and of principal component spaces to identify OOD data. Our extensive experiments demonstrate that NECO achieves state-of-the-art results on both small and large-scale OOD detection tasks while exhibiting strong generalization capabilities across different network architectures. Furthermore, we provide a theoretical explanation for the effectiveness of our method in OOD detection. We plan to release the code after the anonymity period.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google