Fast Decision Boundary based Out-of-Distribution Detector

要約

AI システムを安全に導入するには、効率的かつ効果的な配布外 (OOD) 検出が不可欠です。
既存の特徴空間手法は効果的ではありますが、トレーニング特徴から構築された補助モデルに依存しているため、多くの場合、大幅な計算オーバーヘッドが発生します。
この論文では、補助モデルを使用せずに、特徴空間に埋め込まれた豊富な情報を活用しながら、計算効率の高い OOD 検出器を提案します。
具体的には、決定境界までの特徴距離に基づいて OOD サンプルを検出します。
計算コストを最小限に抑えるために、距離を厳密に下限にすることが分析的に証明された、効率的な閉じた形式の推定を導入します。
私たちの推定に基づいて、配信内 (ID) 特徴は OOD 特徴よりも決定境界から遠ざかる傾向があることがわかりました。
さらに、ID サンプルと OOD サンプルは、トレーニング特徴の平均からの等しい偏差レベルで比較すると、より適切に分離されます。
平均からの特徴偏差に基づいて決定境界までの距離を正規化することにより、ハイパーパラメータフリー、補助モデルフリーの OOD 検出器を開発します。
私たちの方法は、大規模な実験における最先端の方法の有効性と同等かそれを上回っていますが、推論レイテンシーのオーバーヘッドは無視できます。
全体として、私たちのアプローチは、OOD 検出における効率と有効性のトレードオフを大幅に改善します。
コードは https://github.com/litianliu/fDBD-OOD で入手できます。

要約(オリジナル)

Efficient and effective Out-of-Distribution (OOD) detection is essential for the safe deployment of AI systems. Existing feature space methods, while effective, often incur significant computational overhead due to their reliance on auxiliary models built from training features. In this paper, we propose a computationally-efficient OOD detector without using auxiliary models while still leveraging the rich information embedded in the feature space. Specifically, we detect OOD samples based on their feature distances to decision boundaries. To minimize computational cost, we introduce an efficient closed-form estimation, analytically proven to tightly lower bound the distance. Based on our estimation, we discover that In-Distribution (ID) features tend to be further from decision boundaries than OOD features. Additionally, ID and OOD samples are better separated when compared at equal deviation levels from the mean of training features. By regularizing the distances to decision boundaries based on feature deviation from the mean, we develop a hyperparameter-free, auxiliary model-free OOD detector. Our method matches or surpasses the effectiveness of state-of-the-art methods in extensive experiments while incurring negligible overhead in inference latency. Overall, our approach significantly improves the efficiency-effectiveness trade-off in OOD detection. Code is available at: https://github.com/litianliu/fDBD-OOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google