Mahalanobis++: Improving OOD Detection via Feature Normalization

要約

分散分布（OOD）の検出例は、安全性クリティアルアプリケーションに信頼できる機械学習モデルを展開するための重要なタスクです。
プレロジット機能に適用されるマハラノビス距離に基づく事後の方法は、ImagenetスケールのOOD検出に最も効果的なものの1つですが、そのパフォーマンスはモデルによって大きく異なります。
この矛盾を特徴規範の強力な変動に結び付け、マハラノビス距離の推定の根底にあるガウスの仮定の深刻な違反を示しています。
特徴の単純な$ \ ell_2 $ $ -normalizationは、この問題を効果的に軽減し、共有共分散マトリックスとの通常分散データの前提とより適切に調整することを示します。
多様なアーキテクチャと事前トレーニングスキーム全体の44モデルに関する広範な実験は、$ \ ell_2 $ -normalizationが従来のマハラノビス距離ベースのアプローチを大幅かつ一貫して改善し、他の最近提案されたOOD検出方法を上回ることを示しています。

要約(オリジナル)

Detecting out-of-distribution (OOD) examples is an important task for deploying reliable machine learning models in safety-critial applications. While post-hoc methods based on the Mahalanobis distance applied to pre-logit features are among the most effective for ImageNet-scale OOD detection, their performance varies significantly across models. We connect this inconsistency to strong variations in feature norms, indicating severe violations of the Gaussian assumption underlying the Mahalanobis distance estimation. We show that simple $\ell_2$-normalization of the features mitigates this problem effectively, aligning better with the premise of normally distributed data with shared covariance matrix. Extensive experiments on 44 models across diverse architectures and pretraining schemes show that $\ell_2$-normalization improves the conventional Mahalanobis distance-based approaches significantly and consistently, and outperforms other recently proposed OOD detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google