Detecting Out-of-Distribution Through the Lens of Neural Collapse

要約

効率的かつ多用途の配布外 (OOD) 検出は、AI の安全な導入に不可欠ですが、既存のアルゴリズムにとっては依然として課題です。
Neural Collapse からインスピレーションを得て、分布内 (ID) サンプルの特徴が OOD サンプルの特徴と比較して重みベクトルに近くクラスター化していることを発見しました。
さらに、ID 特徴が空間内に拡張してシンプレックス等角タイト フレームワークを構造化する傾向があることを明らかにしました。これは、ID 特徴が OOD 特徴よりも原点から遠くに存在するという一般的な観察をうまく説明しています。
Neural Collapse からの両方の洞察を考慮して、OOD 検出に重みベクトルへの特徴の近接性を活用し、OOD サンプルをフィルタリングするために特徴ノルムを使用することでこの観点をさらに補完することを提案します。
既製のモデルでの広範な実験により、多様な分類タスクとモデル アーキテクチャにわたるこの手法の効率と有効性が実証され、OOD 検出の一般化機能が強化されます。

要約(オリジナル)

Efficient and versatile Out-of-Distribution (OOD) detection is essential for the safe deployment of AI yet remains challenging for existing algorithms. Inspired by Neural Collapse, we discover that features of in-distribution (ID) samples cluster closer to the weight vectors compared to features of OOD samples. In addition, we reveal that ID features tend to expand in space to structure a simplex Equiangular Tight Framework, which nicely explains the prevalent observation that ID features reside further from the origin than OOD features. Taking both insights from Neural Collapse into consideration, we propose to leverage feature proximity to weight vectors for OOD detection and further complement this perspective by using feature norms to filter OOD samples. Extensive experiments on off-the-shelf models demonstrate the efficiency and effectiveness of our method across diverse classification tasks and model architectures, enhancing the generalization capability of OOD detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google