Enhancing Out-of-Distribution Detection with Extended Logit Normalization

要約

分散除外（OOD）検出は、機械学習モデルの安全な展開に不可欠です。
最近の進歩により、OOD検出を強化するための分類損失と表現学習戦略の改善が調査されました。
ただし、これらの方法は、多くの場合、特定の事後検出技術に合わせて調整されており、一般化が制限されます。
この作業では、ロジット正規化（LogitNorm）の重要な問題を特定します。これは、特定の事後OOD検出方法の改善における有効性を阻害します。
これに対処するために、拡張されたロジット正規化（$ \ textbf {elogitnorm} $）を提案します。これは、幅広いポストホック検出方法に大きな利益をもたらす新しいハイパーパラメーターを含まない定式化を行います。
機能の距離をlogitnormに組み込むことにより、$ \ textbf {elogitnorm} $は、前任者よりも堅牢なood分離性と分布（ID）信頼キャリブレーションを示します。
標準ベンチマーク全体の広範な実験は、私たちのアプローチが強力なID分類精度を維持しながら、OOD検出における最先端のトレーニング時間方法を上回ることを示しています。

要約(オリジナル)

Out-of-distribution (OOD) detection is essential for the safe deployment of machine learning models. Recent advances have explored improved classification losses and representation learning strategies to enhance OOD detection. However, these methods are often tailored to specific post-hoc detection techniques, limiting their generalizability. In this work, we identify a critical issue in Logit Normalization (LogitNorm), which inhibits its effectiveness in improving certain post-hoc OOD detection methods. To address this, we propose Extended Logit Normalization ($\textbf{ELogitNorm}$), a novel hyperparameter-free formulation that significantly benefits a wide range of post-hoc detection methods. By incorporating feature distance-awareness to LogitNorm, $\textbf{ELogitNorm}$ shows more robust OOD separability and in-distribution (ID) confidence calibration than its predecessor. Extensive experiments across standard benchmarks demonstrate that our approach outperforms state-of-the-art training-time methods in OOD detection while maintaining strong ID classification accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google